[論文レビュー] Ubiquitous Talker: Spoken Language Interaction with Real World Objects

Katashi Nagao, Jun Rekimoto|ArXiv.org|May 23, 1995

Speech and dialogue systems参考文献 14被引用数 44

ひとこと要約

Ubiquitous Talker は、状況認識に色帯IDタグを用いるポータブルな拡張現実（AR）システムであり、現実世界の物体との自然な spoken language による対話が可能である。カメラを用いたリアルタイムの物体認識、音声認識、合成音声出力を統合することで、ユーザーが物理的物体を知的エージェントのように会話できるようにし、言語の文脈的根拠により、人間とコンピュータの対話の堅牢性と自然さが著しく向上する。

ABSTRACT

Augmented reality is a research area that tries to embody an electronic information space within the real world, through computational devices. A crucial issue within this area, is the recognition of real world objects or situations. In natural language processing, it is much easier to determine interpretations of utterances, even if they are ill-formed, when the context or situation is fixed. We therefore introduce robust, natural language processing into a system of augmented reality with situation awareness. Based on this idea, we have developed a portable system, called the Ubiquitous Talker. This consists of an LCD display that reflects the scene at which a user is looking as if it is a transparent glass, a CCD camera for recognizing real world objects with color-bar ID codes, a microphone for recognizing a human voice and a speaker which outputs a synthesized voice. The Ubiquitous Talker provides its user with some information related to a recognized object, by using the display and voice. It also accepts requests or questions as voice inputs. The user feels as if he/she is talking with the object itself through the system.

研究の動機と目的

• 日常環境における物理的物体との自然で堅牢な音声言語対話の実現。
• 言語理解の複雑さを、現実世界の状況的文脈に根拠づけることで低減すること。
• 音声入出力と視覚的物体認識を統合した、ポータブルでリアルタイムのシステムの開発。
• 物体の識別やユーザーの注視方向などの非言語的文脈を活用することで、音声処理の正確性と効率を向上させること。
• ユーザーが物理的物体と直接会話していると感じられる、シームレスで直感的な人間-コンピュータインターフェースの構築。

提案手法

• 色帯IDコードシステムを用いて、現実世界の物体に一意で機械可読の識別子を割り当て、信頼性の高い認識を実現する。
• CCDカメラを用いて、色帯タグをリアルタイムで検出し復号し、ユーザーがどの物体と対話しているかを同定する。
• マイクとスピーカーを統合して全二重音声対話に対応させ、ユーザーが音声コマンドを発行したり質問を投げかけたりできるようにする。
• LCDディスプレイを用いて、デジタル情報（例：説明、手順）を現実世界の視界に重ね合わせ、透過型インターフェースを模倣する。
• 物体の識別とユーザーの注視方向のシグナルを用いて、自然言語理解の仮説空間を制約する状況認識型音声処理を適用する。
• 代名詞（例：「これ」「それ」「ここ」）と注視追跡を活用して、言語を物理的文脈に固定し、曖昧さを低減する。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、不完全または曖昧な発話が生じる現実世界の状況において、言語理解の堅牢性を高められるか？
• RQ2 物体の識別やユーザーの注視といった状況的文脈が、音声認識と解釈の複雑さをどの程度低減できるか？
• RQ3 低コストで信頼性の高い物体識別方法（例：色帯タグ）が、実用的でリアルタイムの拡張現実インタラクションを可能にするか？
• RQ4 音声、視覚、注視といったマルチモーダル入力をどのように統合することで、物理的物体との自然な状況に即した対話が可能になるか？
• RQ5 非言語的文脈は、人間とコンピュータの対話における音声処理の正確性と効率を向上させるために果たす役割は何か？

主な発見

• 色帯IDコードによる視覚的物体認識の統合により、言語理解における仮説空間が著しく縮小され、不完全または曖昧な発話の堅牢な解釈が可能になった。
• ユーザーは、システムを物理的物体と会話する会話エージェントとして認識し、人間とコンピュータの対話において高い自然さと没入感を実現した。
• システムは、物理的物体とのリアルタイムでポータブルな音声対話に対応でき、日常環境における状況認識型拡張現実の実現可能性を示した。
• 物体の識別と注視追跡による状況認識により、代名詞的参照（例：「これ」「それ」）が高精度に解釈され、対話の曖昧さが低減した。
• 被動的でバッテリーフリーな色帯タグの使用は、アクティブまたは埋め込み型コンピューティングシステムと比較して、低コストで信頼性が高くスケーラブルな物体識別ソリューションを提供した。
• 言語的および非言語的モodalの統合により、システムの性能が向上し、マルチモーダルな文脈が、効率的かつ正確な音声言語処理にとって不可欠であることが示された。