[논문 리뷰] Probing Emergent Semantics in Predictive Agents via Question Answering

Abhishek Das, Federico Carnevale외 9명|arXiv (Cornell University)|2020. 06. 01.

Multimodal Machine Learning Applications참고 문헌 58인용 수 5

한 줄 요약

이 논문은 자기지도 시각 예측을 통해 훈련된 예측형 에이전트 내에서 태동하는 명제적 지식을 해독하고 분석하기 위해 질문-답변(QA) 프로빙 프레임워크를 제안한다. SimCore와 행동 조건형 CPC를 사용해 3D 환경에서 훈련된 에이전트의 내부 표현에 QA를 적용함으로써, 저자들은 생성형 예측 모델(특히 SimCore)이 물체, 성질, 공간 관계에 대한 풍부하고 조합적인 지식을 습득하고 있음을 보여주며, 에이전트에 기울기 역전파(backpropagation) 없이도 정확한 사실 기반 추론이 가능하다고 밝힌다.

ABSTRACT

Recent work has shown how predictive modeling can endow agents with rich knowledge of their surroundings, improving their ability to act in complex environments. We propose question-answering as a general paradigm to decode and understand the representations that such agents develop, applying our method to two recent approaches to predictive modeling -action-conditional CPC (Guo et al., 2018) and SimCore (Gregor et al., 2019). After training agents with these predictive objectives in a visually-rich, 3D environment with an assortment of objects, colors, shapes, and spatial configurations, we probe their internal state representations with synthetic (English) questions, without backpropagating gradients from the question-answering decoder into the agent. The performance of different agents when probed this way reveals that they learn to encode factual, and seemingly compositional, information about objects, properties and spatial relations from their physical environment. Our approach is intuitive, i.e. humans can easily interpret responses of the model as opposed to inspecting continuous vectors, and model-agnostic, i.e. applicable to any modeling approach. By revealing the implicit knowledge of objects, quantities, properties and relations acquired by agents as they learn, question-conditional agent probing can stimulate the design and development of stronger predictive learning objectives.

연구 동기 및 목표

• 자기지도 시각 예측을 통해 훈련된 예측형 에이전트가 내부 표현에서 물체, 성질, 공간 관계에 대한 명제적 지식를 습득하는지 조사하기.
• 신경 에이전트 표현에 인코딩된 사실 지식을 진단하기 위한 모델에 종속되지 않고 해석 가능한 방법 개발하기.
• 질문-답변 진단 프레임워크를 사용하여 예측 모델링 방법의 차이(특히 SimCore 대 행동 조건형 CPC)에 따른 지식 습득 능력 비교하기.
• 질문-답변가 지식을 인간이 이해할 수 있는 일반적인 도구로 활용할 수 있으며, 기호적 사실에 대한 명시적 지도 없이 훈련된 에이전트의 암묵적 지식을 분석하는 데 효과적임을 보여주기.
• 에이전트가 언어나 기호에 대한 직접적 지도 없이도 에고센터릭 미래 예측만으로도 불변의 물체 정체성과 관계 지식을 습득할 수 있는지 평가하기.

제안 방법

• 자기지도 시각 예측를 통해 훈련된 에이전트를 시각적으로 풍부한 3D 환경(DeepMind Lab)에서 탐색 목표와 보조 예측 손실이 있는지 여부에 따라 훈련하기.
• 두 가지 예측 모델링 방법 적용: 행동 조건형 CPC(Guo et al., 2018)와 SimCore(Gregor et al., 2019), 둘 다 미래의 에고센터릭 관측을 예측한다.
• 에이전트의 내부 상태 표현을 기반으로 합성 영어 질문에 대한 답을 예측하는 별도의 비미분 가능 QA 디코더 훈련하기.
• '그리드 정지(Stop gradient)'를 사용해 QA 헤드에서 에이전트로의 기울기 역전파를 방지함으로써, QA 작업이 학습된 표현의 순수한 프로빙임을 보장하기.
• 물체 정체성, 색상, 형태, 수량, 공간 관계 등을 포함한 다양한 질문 설계 (예: '큐브의 색상은 무엇입니까?')
• 다양한 환경과 설정에서 예측형과 비예측형 에이전트를 비교하여 QA 정확도를 내부 환경 지식의 대리 지표로 평가하기.

실험 결과

연구 질문

• RQ1 자기지도 시각 예측을 통해 훈련된 예측형 에이전트가 내부 표현에서 물체, 성질, 공간 관계에 대한 사실적이고 조합적인 지식를 습득하고 인코딩할 수 있는가?
• RQ2 예측 모델링 아키텍처의 선택(예: 대비형 대 비대칭형)이 에이전트가 습득하는 명제적 지식의 질과 유형에 어떤 영향을 미치는가?
• RQ3 질문-답변가 모델에 종속되지 않고 해석 가능한 진단 도구로서의 역할을 얼마나 잘 수행할 수 있는가? 특히 기호적 사실에 대한 명시적 지도 없이 훈련된 에이전트의 내부 지식을 탐색하는 데에 효과적인가?
• RQ4 에고센터릭 예측만으로 훈련된 에이전트가 이러한 속성에 대한 직접적 지도 없이도 물체 정체성과 성질의 불변 표현을 습득할 수 있는가?
• RQ5 다운스트림 작업에서 유사한 성능을 보이는 에이전트들 사이에서 QA 성능이 풍부한 세계 모델을 학습한 에이전트와 그렇지 않은 에이전트를 신뢰성 있게 구분할 수 있는가?

주요 결과

• SimCore 에이전트는 모든 질문 유형에서 가장 높은 질문-답변 정확도를 기록했으며, 행동 조건형 CPC와 순수 LSTM 에이전트를 크게 앞서갔다.
• QA 프로브를 통해 SimCore 에이전트가 명시적 지도 없이도 물체 형태, 색상, 수량, 공간 관계에 대한 세부적이고 조합적인 지식를 인코딩하고 있음을 확인했다.
• 행동 조건형 CPC 에이전트는 탐색 및 탐색에 효과적이었지만, 사실 기반 질문에 대한 답변 능력이 제한적이었으며, 명제적 지식의 인코딩이 약한 것으로 나타났다.
• QA 프레임워크는 에이전트에 기울기 역전파 없이도 물체 정체성과 성질에 대한 지식을 성공적으로 해독했으며, 이는 표현이 의미적으로 풍부하고 안정적임을 확인했다.
• 이 방법은 환경 간 일반화 성능이 뛰어나 첫 번째 환경에서 사용된 동일한 초모수 설정이 DeepMind Lab에서도 일관된 결과를 도출함으로써 탄탄함과 이식 가능성을 입증했다.
• 결과는 생성형 예측 모델(SimCore)이 대비형 모델(CPC)보다 사실 기반 추론과 언어 유사 일반화를 지원하는 내부 표현을 형성하는 데 더 효과적임을 시사한다.