[논문 리뷰] Rat big, cat eaten! Ideas for a useful deep-agent protolanguage

Marco Baroni|arXiv (Cornell University)|2020. 03. 17.

Topic Modeling참고 문헌 28인용 수 4

한 줄 요약

이 논문은 동적인 실세계 환경에서 효과적이고 인간이 이해할 수 있는 의사소통을 가능하게 하기 위해, 딥 강화학습 에이전트를 위한 최소화되고 기능적인 원시언어를 제안한다. '쥐 크다' 또는 '사과 먹혔다'와 같은 간단한 서술 구조에 초점을 맞추어, 전체 언어적 복잡성 없이도 맥락에 민감하고 임무 중심의 의사소통을 가능하게 하며, 인간-기계 및 기계-기계 상호작용 환경에서 빠른 구현을 가능하게 한다.

ABSTRACT

Deep-agent communities developing their own language-like communication protocol are a hot (or at least warm) topic in AI. Such agents could be very useful in machine-machine and human-machine interaction scenarios long before they have evolved a protocol as complex as human language. Here, I propose a small set of priorities we should focus on, if we want to get as fast as possible to a stage where deep agents speak a useful protolanguage.

연구 동기 및 목표

• 완전한 인간과 유사한 언어가 등장하기 이르기까지 딥 에이전트가 동적인 실세계 환경에서 효과적으로 의사소통할 수 있도록 최소화되고 기능적인 원시언어를 설계하는 것.
• 새로운 물체와 성질이 존재하는 개방형이고 지속적으로 변화하는 환경에서 실용적이고 목표 중심의 상호작용을 지원하는 의사소통 구조를 우선시하는 것.
• 인간이 이해할 수 있도록 하는 것을 보장하기 위해 인간과 유사한 언어 형태에 기반을 두고, 지나치게 추상적이거나 투명하지 않은 기호 체계를 피하는 것.
• 유용한 언어적 원천이 자연스럽게 유도되도록 하는 훈련 환경의 설계를 이끄는 것, 특히 명시적 지도 없이도 예를 들어 서술 구조와 같은 기본 원리를 유도하는 것.
• 엄격한 논리적 형식보다는 맥락에 민감하고 흐릿하고 모호한 언어 사용에 초점을 맞추어 스케일이 가능하고 인간과 호환되는 기계 간 의사소통을 지원하는 것.

제안 방법

• 집안에서의 물건을 공동으로 관리해야 하는 몸이 있는 또는 가상의 에이전트(예: 가정용 로봇)가 포함된 시나리오를 설계하여 재고 추적, 부패 감지, 물체 위치 탐색을 수행한다.
• 청결하고 범주적인 입력이 아닌 연속적이고 노이즈가 있는 감각 입력(예: 이미지, 센서 데이터)을 사용하여 실세계의 다양성과 모호성을 반영한다.
• 의사소통을 기본적인 서술 구조에 기반하게 한다: 에이전트 A가 '물체 성질'을 신호로 보낸다(예: '쥐 크다', '사과 먹혔다'), 이를 통해 임무 관련 정보를 전달한다.
• 의사소통이 임무 성과를 향상시키는 환경에서 임무 중심의 다중 에이전트 강화학습을 통해 원시언어의 유출을 장려한다.
• 무작위적인 물체 출현, 상태 변화(예: 썩음), 속성 변화(예: 색상, 크기)와 같은 환경의 역동성을 포함하여 개방형 시나리오를 시뮬레이션한다.
• 제한된 메모리나 채널 용량 등의 제약 조건을 적용하거나, 자연어 패턴을 모방하는 이mitation 기반 정규화(예: 인간 언어 패턴 모방)를 사용하여 인간이 알아볼 수 있는 형태에서 언어의 이격을 방지한다.

실험 결과

연구 질문

• RQ1 어떤 최소한의 언어적 구조가 개방형 실세계 환경에서 딥 에이전트가 효과적이고 임무 중심의 의사소통을 달성하는 데에 충분한가?
• RQ2 어떻게 하면 명시적 지도 없이도 자연스럽게 유용하고 이해할 수 있는 의사소통 프로토콜의 유출을 장려하는 훈련 환경을 설계할 수 있는가?
• RQ3 간단한 서술 구조(예: '물체 성질')가 얼마나 동적인 실세계 시나리오에서 복잡한 조율을 지원할 수 있는가?
• RQ4 인간이 설계한 언어 규칙가 없더라도 유출된 에이전트 간 의사소통이 어떻게 인간이 이해할 수 있도록 유지될 수 있는가?
• RQ5 어떤 환경적 및 임무 제약 조건이 자연스러운 원시언어와 유사한 맥락에 민감하고 흐릿하고 모호한 언어 사용의 유출을 가장 잘 촉진하는가?

주요 결과

• 기본적인 서술 구조—예를 들어 '쥐 크다' 또는 '사과 먹혔다'—는 동적인 실세계 시나리오에서 에이전트가 임무 관련 핵심 정보를 전달하는 데에 충분하다.
• 상호작용적이고 목표 중심의 환경에서의 의사소통은 인간의 원시언어 초기 단계를 반영하는 단순하고 조합적인 형태를 자연스럽게 선호한다.
• 환경과 임무 구조가 功能적이고 맥락에 민감한 신호 전달을 유도하는 한, 명시적 언어 지도 없이도 강건하고 인간이 이해할 수 있는 의사소통이 유출될 수 있다.
• 장기 꼬리 분포, 속성 변화, 상태 변화를 포함한 환경 설계가 효과적으로 유용한 언어 원천의 유출을 이끈다.
• 제한된 메모리나 채널 용량, 또는 자연어 패턴 모방과 같은 제약 조건은 언어의 이격을 방지하고 해석 가능성을 유지하는 데 도움이 된다.
• 원시언어가 완전히 논리적이거나 모호하지 않아야 할 필요는 없으며, 흐릿하고 맥락에 의존하며 모호한 의사소통이 개방형 실세계 환경에서는 엄격한 형식적 코드보다 더 효과적이다.