[논문 리뷰] Acquiring Grounded Representations of Words with Situated Interactive Instruction

Shiwali Mohan, Aaron Mininger외 2명|ArXiv.org|2025. 02. 28.

Multimodal Machine Learning Applications참고 문헌 16인용 수 39

한 줄 요약

요약: 이 논문은 Soar에서 상황 기반 인터랙티브 지시를 통해 명사, 형용사, 전치사, 동사를 학습시키며 단어를 grounding하는 혼합 주도형 프레임워크를 제시하고, 탁상 로봇 팔에서 이를 시연하며, 빠르고 온라인적이며 점진적인 학습을 보인다.

ABSTRACT

We present an approach for acquiring grounded representations of words from mixed-initiative, situated interactions with a human instructor. The work focuses on the acquisition of diverse types of knowledge including perceptual, semantic, and procedural knowledge along with learning grounded meanings. Interactive learning allows the agent to control its learning by requesting instructions about unknown concepts, making learning efficient. Our approach has been instantiated in Soar and has been evaluated on a table-top robotic arm capable of manipulating small objects.

연구 동기 및 목표

• 상호작용 지시를 통해 인지 에이전트가 지각적, 의미적, 절차적 지식으로부터 grounding된 단어 표현을 확보하는 방법을 입증한다.
• 적은 예제 수로도 점진적이고 온라인하며 빠르게 학습이 가능하다는 것을 보인다.
• 유연하고 효율적인 언어 grounding을 위한 혼합 주도형 상호작용의 효과를 평가한다.
• 명사/형용사, 공간 전치사, 동사가 지각과 행동에서 어떻게 학습되고 grounding되는지 탐구한다.

제안 방법

• Soar 인지 아키텍처에서 grounding된 언어 학습 에이전을 구성한다.
• 비전 시스템 (Kinect)과 로봇 팔을 사용하여 탁자 위의 물체와 상호 작용한다. \u001b6 교수자가 제공한 예시에서 학습된 지각-상징 매핑을 통해 단어를 grounding한다.
• 강의자 인터페이스와 혼합 주도형 상호작용 모델을 활용하여 정체 상황과 대화를 통해 학습을 촉진한다.
• 언어 기호를 지각적, 공간적 및 동작 개념에 연결하는 의미 기억 맵으로 grounding을 표현한다.

실험 결과

연구 질문

• RQ1 혼합 주도형 상황 기반 지시가 로봇 에이전트에서 명사, 형용사, 전치사, 동사의 grounding을 어떻게 가능하게 하는가?
• RQ2 대화형 학습 중 grounding에 기여하는 지식 원천은 무엇인가(지각, 의미론, 행동 모델, 일화적 기억)?
• RQ3 학습이 온라인적으로 점진적이며 빠르며, grounded word representations를 얻기 위해 적은 예제가 필요한가?

주요 결과

• 에이전트는 상호작용을 통해 학습된 지각 기호, 공간 원시, 작업-개념 네트워크와 언어 용어를 연관시켜 단어를 grounding한다.
• 학습은 점진적이다: 새로운 단어가 추가 단어의 학습을 돕고, 명사/형용사가 더 풍부한 구사 형태보다 앞선다.
• 시스템은 2초 미만의 응답으로 온라인 학습을 지원하며 적은 예제로도 빠른 획득을 시연한다.
• 혼합 주도형 상호작용은 교사가 정보성이 높은 예제에 집중하도록 하고, 에이전트가 학습 충동을 주도하여 누락된 지식을 얻도록 한다.