[논문 리뷰] Ubiquitous Talker: Spoken Language Interaction with Real World Objects

Katashi Nagao, Jun Rekimoto|ArXiv.org|1995. 05. 23.

Speech and dialogue systems참고 문헌 14인용 수 44

한 줄 요약

유비쿼터스 토크어는 색상바 식별 태그를 사용하여 상황 인식 능력을 갖춘 휴대용 증강현실 시스템으로, 실제 세계의 물체와 자연스러운 구어 언어 상호작용을 가능하게 한다. 카메라를 통한 실시간 물체 인식, 음성 인식, 합성 음성 출력을 통합함으로써 사용자는 물리적 물체를 지능형 에이전트인 것처럼 대화할 수 있으며, 언어의 맥락 기반 통합을 통해 인간-컴퓨터 상호작용의 강건성과 자연스러움을 크게 향상시킨다.

ABSTRACT

Augmented reality is a research area that tries to embody an electronic information space within the real world, through computational devices. A crucial issue within this area, is the recognition of real world objects or situations. In natural language processing, it is much easier to determine interpretations of utterances, even if they are ill-formed, when the context or situation is fixed. We therefore introduce robust, natural language processing into a system of augmented reality with situation awareness. Based on this idea, we have developed a portable system, called the Ubiquitous Talker. This consists of an LCD display that reflects the scene at which a user is looking as if it is a transparent glass, a CCD camera for recognizing real world objects with color-bar ID codes, a microphone for recognizing a human voice and a speaker which outputs a synthesized voice. The Ubiquitous Talker provides its user with some information related to a recognized object, by using the display and voice. It also accepts requests or questions as voice inputs. The user feels as if he/she is talking with the object itself through the system.

연구 동기 및 목표

• 일상 환경에서 물리적 물체와 자연스럽고 강건한 음성 언어 상호작용을 가능하게 하기 위해.
• 언어 이해의 복잡성을 실제 세계의 상황적 맥락에 기반시켜 줄이기 위해.
• 음성 입력/출력과 시각적 물체 인식을 통합한 휴대용 실시간 시스템을 개발하기 위해.
• 물체 정체성과 사용자 시선과 같은 비언어적 맥락을 활용하여 음성 처리의 정확도와 효율성을 향상시키기 위해.
• 사용자가 물리적 물체와 직접 대화하고 있는 것처럼 느낄 수 있도록 원활하고 직관적인 인간-컴퓨터 인터페이스를 창출하기 위해.

제안 방법

• 실제 물체에 고유하고 기계로 판독 가능한 식별자를 할당하기 위해 색상바 식별 태그 시스템을 사용하여 신뢰성 있는 인식을 가능하게 한다.
• CCD 카메라를 사용하여 실시간으로 색상바 태그를 감지하고 복호화함으로써 사용자가 상호작용하고 있는 물체를 식별할 수 있도록 한다.
• 이중방향 음성 상호작용을 가능하게 하기 위해 마이크 및 loudspeaker를 통합하여 사용자가 음성 명령을 내리거나 질문을 할 수 있도록 한다.
• LCD 디스play를 사용하여 실제 세계 시야에 디지털 정보(예: 설명, 지침)를 오버레이함으로써 투과형 인터페이스를 시뮬레이션한다.
• 물체 정체성과 사용자 주의 집중 신호를 활용하여 자연어 이해의 가설 공간을 제약하는 상황 인식 음성 처리를 적용한다.
• 지시어(예: '이것', '그것', '여기')와 시선 추적을 활용하여 언어를 물리적 맥락에 고정시켜 모호성을 줄인다.

실험 결과

연구 질문

• RQ1 어떻게 하면 실제 환경에서 문장이 불완전하거나 모호한 경우에도 언어 이해의 강건성을 높일 수 있는가?
• RQ2 물체 정체성과 사용자 시선과 같은 상황적 맥락이 음성 인식 및 해석의 복잡성을 어느 정도 줄일 수 있는가?
• RQ3 저비용이고 신뢰할 수 있는 물체 식별 방법(예: 색상바 태그)이 실용적이고 실시간 증강현실 상호작용을 가능하게 할 수 있는가?
• RQ4 음성, 시각, 시선과 같은 다중모달 입력을 어떻게 통합하여 물리적 물체와 자연스럽고 맥락 기반 대화를 가능하게 할 수 있는가?
• RQ5 비언어적 맥락은 인간-컴퓨터 상호작용에서 음성 언어 처리의 정확도와 효율성 향상에 어떤 역할을 하는가?

주요 결과

• 색상바 식별 코드를 통한 시각적 물체 인식 통합으로 언어 이해의 가설 공간이 크게 감소하여, 불완전하거나 모호한 발화에 대한 강건한 해석이 가능해졌다.
• 사용자들은 시스템을 물리적 물체와 상호작용하는 대화 에이전트로 인식하여 인간-컴퓨터 상호작용에서 높은 자연스러움과 몰입감을 경험했다.
• 시스템은 실시간으로 휴대 가능한 물리적 물체와의 음성 상호작용을 성공적으로 지원하여, 일상 환경에서 맥락 인식 증강현실의 실현 가능성을 입증했다.
• 물체 정체성과 시선 추적을 통한 상황 인식을 통해 지시어 참조(예: '이것', '그것')를 고정밀도로 해소하여 대화의 모호성을 줄였다.
• 수동식이며 배터리가 필요 없는 색상바 태그는 활성 또는 내장형 컴퓨팅 시스템에 비해 저비용, 고신뢰성, 확장 가능한 물체 식별 솔루션을 제공한다.
• 언어적 요소와 비언어적 모odalities를 결합함으로써 시스템 성능이 향상되었으며, 이는 다중모달 맥락이 효율적이고 정확한 음성 언어 처리에 필수적임을 보여준다.