[논문 리뷰] Ecological Semantics: Programming Environments for Situated Language Understanding

Ronen Tamari, Gabriel Stanovsky외 2명|arXiv (Cornell University)|2020. 03. 10.

Topic Modeling참고 문헌 41인용 수 4

한 줄 요약

이 논문은 생태학적 의미론을 제안한다—자연어 이해 시스템이 환경을 일급 엔티티로 간주하고, 상호작용 소설을 영감으로 삼은 프로그래밍 언어를 사용해 환경의 가능성을(행동 가능성) 모델링함으로써, 기반화되고 일반화 가능한 자연어 이해(NLU)를 실현한다. 모델이 언어를 통해 환경 사양을 이해하고 생성할 수 있도록 함으로써, 확장 가능한 실행 가능한 공통 지식 채굴과 정적 데이터셋을 초월한 일반화 향상을 지원한다.

ABSTRACT

Large-scale natural language understanding (NLU) systems have made impressive progress: they can be applied flexibly across a variety of tasks, and employ minimal structural assumptions. However, extensive empirical research has shown this to be a double-edged sword, coming at the cost of shallow understanding: inferior generalization, grounding and explainability. Grounded language learning approaches offer the promise of deeper understanding by situating learning in richer, more structured training environments, but are limited in scale to relatively narrow, predefined domains. How might we enjoy the best of both worlds: grounded, general NLU? Following extensive contemporary cognitive science, we propose treating environments as "first-class citizens" in semantic representations, worthy of research and development in their own right. Importantly, models should also be partners in the creation and configuration of environments, rather than just actors within them, as in existing approaches. To do so, we argue that models must begin to understand and program in the language of affordances (which define possible actions in a given situation) both for online, situated discourse comprehension, as well as large-scale, offline common-sense knowledge mining. To this end we propose an environment-oriented ecological semantics, outlining theoretical and practical approaches towards implementation. We further provide actual demonstrations building upon interactive fiction programming languages.

연구 동기 및 목표

• 현재의 NLU 시스템이 정적이고 좁은 데이터셋에 의존하고 깊이 있는 기반화, 설명 가능성, 체계적 일반화가 부족한 점을 해결하기 위해.
• 기존의 기반화된 언어 학습의 확장성-기반화 한계를 극복하기 위해 환경를 프로그래머블하고 재사용 가능한 구성 요소로 간주하기 위해.
• NLU 모델이 가능성을 위한 언어—예: '이 가방은 최대 20kg까지 담을 수 있다.'—를 사용해 환경 기술을 이해하고 생성할 수 있도록 하여, 구조화되고 실행 가능한 지식의 기초를 마련하기 위해.
• 모델이 상호작용적이고 프로그래밍 가능한 환경에서 함께 창조하고 추론할 수 있도록, 상징적, 몸으로 체화된, 분포 기반 의미론을 통합한 통합 프레임워크를 제공하기 위해.
• 대규모 오프라인 공통 지식 채굴과 온라인 대화 이해가 생태학적 인지에 뿌리를 둔 행동 프로그래밍 패러다임을 통해 통합될 수 있음을 입증하기 위해.

제안 방법

• 행동 프로그래밍 패러다임을 사용해 자연어 환경 기술을 실행 가능한 프로그래밍 표현으로 변환하는 생태학적 의미론 프로그래밍(Ec-SP)이라는 의미 해석 프레임워크를 제안한다.
• 상호작용 소설(IF) 언어인 Inform7을 형식적 표현으로 사용해 환경을 표현하며, 행동과 제약 조건(예: '담을 수 있다', '초과해서는 안 된다')을 실행 가능한 규칙으로 표현한다.
• 재사용 가능한 환경 라이브러리(예: '수박은 운반 가능하다')와 상황에 따라 정의되는 지식(온라인 정의된 생태 행동)을 구분함으로써 점진적이고 확장 가능한 시뮬레이터 성장을 가능하게 한다.
• 자동 지식 기반 구축(AKBC)과 기존의 지식 그래프를 활용해 시뮬레이터에 초기 물체 및 행동 속성을 주입한다.
• NLU 모델을 환경 내에서 실행자로만 사용하는 것이 아니라, 언어를 통해 환경를 정의하고 구성하는 데에도 능동적으로 참여하도록 통합한다.
• 두 단계 과정을 적용한다: (1) 지식 기반을 구축하기 위해 가능성을 풍부하게 담은 텍스트 기술을 오프라인으로 채굴하고, (2) 동적 환경 시뮬레이션을 통한 온라인 대화 이해 실행.

실험 결과

연구 질문

• RQ1 NLU 시스템이 환경를 정적 맥락이 아닌 일급 의미 엔티티로 간주함으로써, 더 깊이 있고 일반화 가능한 이해를 어떻게 달성할 수 있는가?
• RQ2 가능성을 위한 언어—예: '가능하다', '초과해서는 안 된다', '파손되기 전까지'—를 확장 가능한 실행 가능한 지식 표현을 위한 프로그래밍 인터페이스로 형식화할 수 있는가?
• RQ3 NLU 모델이 사전에 정의된 환경에서만 행동하는 것이 아니라, 자연어를 통해 환경를 함께 창조하고 구성할 수 있는 정도는 어느 정도인가?
• RQ4 대규모 오프라인 공통 지식 채굴과 실시간으로 자리 잡은 대화 이해가 공통 프로그래밍 프레임워크를 통해 어떻게 통합될 수 있는가?
• RQ5 프로그래밍적이고 행동 기반의 표현 방식은 분포 기반 통계를 초월해 체계적 일반화와 인과적 추론을 어떻게 가능하게 하는가?

주요 결과

• 현재의 텍스트 함의 모델이 조건이 명시되어 있음에도 실패하는 물리적 제약 조건이 포함된 '만약에' 시나리오(예: '가방이 터질까?')에 대해 NLU 시스템이 추론할 수 있도록 한다.
• 행동 프로그래밍 언어에 가능성을 실행 가능한 규칙으로 표현함으로써, 표준 분포 기반 모델이 다룰 수 없는 체계적 일반화와 인과적 추론을 지원한다.
• Inform7를 사용한 시연 결과, 동적 환경 구축을 통해 공통 지식 및 인과적 추론 작업을 해결할 수 있었으며, 온라인 상호작용 버전은 공개되어 있다.
• 재사용 가능한 컴파일된 지식(예: '과일은 식용 가능하다')과 실시간 상황에 맞는 특수 생태 행동을 구분함으로써 지식의 확장성을 높이고, 중복을 줄이며 유지보수성을 향상시킨다.
• NLU와 프로그래밍 스타일 환경 작성의 통합을 통해 모델이 의미 세계의 공동 창조자로 기능하게 되어, 수동적 실행을 넘어서 능동적인 지식 구조화를 실현한다.
• 상징적, 몸으로 체화된, 분포 기반 의미론을 통합하는 데 있어, 생태학적 규칙을 반영하는 실행 가능한 상호작용 시뮬레이션에 언어를 기반화함으로써 방법의 타당성을 입증한다.