[논문 리뷰] Neural Modular Control for Embodied Question Answering

Abhishek Das, Georgia Gkioxari외 3명|CaltechAUTHORS (California Institute of Technology)|2018. 10. 26.

Multimodal Machine Learning Applications인용 수 19

한 줄 요약

이 논문은 몸체가 있는 질의 응답(embodied question answering)을 위한 계층적 강화 학습 프레임워크인 신경 모듈 제어(Neural Modular Control, NMC)를 제안한다. 복잡한 탐색 작업을 해석 가능한 의미적 보조목표(예: '주방 찾기', ' refridgerator 찾기')로 분해함으로써, 마스터 정책이 보조목표를 선택하고 전문화된 보조정책이 이를 실행하도록 한다. 이는 애널리틱스 학습을 거쳐 강화 학습을 수행함으로써 이루어지며, EQA 벤치마크에서 기존 방법들을 능가하는 탐색 및 질문-응답 성능을 달성한다. 특히 정확도와 목표 향한 진전 측면에서 모두 슈퍼리어하다.

ABSTRACT

We present a modular approach for learning policies for navigation over long planning horizons from language input. Our hierarchical policy operates at multiple timescales, where the higher-level master policy proposes subgoals to be executed by specialized sub-policies. Our choice of subgoals is compositional and semantic, i.e. they can be sequentially combined in arbitrary orderings, and assume human-interpretable descriptions (e.g. 'exit room', 'find kitchen', 'find refrigerator', etc.). We use imitation learning to warm-start policies at each level of the hierarchy, dramatically increasing sample efficiency, followed by reinforcement learning. Independent reinforcement learning at each level of hierarchy enables sub-policies to adapt to consequences of their actions and recover from errors. Subsequent joint hierarchical training enables the master policy to adapt to the sub-policies. On the challenging EQA (Das et al., 2018) benchmark in House3D (Wu et al., 2018), requiring navigating diverse realistic indoor environments, our approach outperforms prior work by a significant margin, both in terms of navigation and question answering.

연구 동기 및 목표

• 몸체가 있는 질의 응답에서 장기적인 목표, 부분 관찰 가능, 희박한 보상 환경의 도전 과제를 해결하기 위해.
• 고수준의 보조목표 계획과 저수준의 동작 실행을 분리함으로써 샘플 효율성과 훈련 안정성을 향상시키기 위해.
• 인간이 이해할 수 있는 의미적 보조목표를 사용함으로써 해석 가능성과 오류 복구 능력을 향상시키기 위해.
• 모듈러하고 사전 훈련된 보조정책을 통해 다양한 실내 환경에서의 강건한 일반화를 가능하게 하기 위해.
• EQA 벤치마크에서 탐색 효율성과 정답 정확도 측면에서 기존 모델을 능가하기 위해.

제안 방법

• 프레임워크는 마스터 정책이 질문과 시각 입력을 기반으로 의미적 보조목표(예: '방 나가기', '거실 찾기')의 순서를 선택하는 계층적 정책을 사용한다.
• 각 보조목표는 전문가 트레이젝터리에 기반한 행동 클로닝으로 훈련된 신경 보조정책이 실행하며, 이후 A3C 기반 강화 학습을 통해 오류 복구 및 적응을 수행한다.
• 보조정책은 독립적으로 훈련되며, 모듈러한 방식으로 마스터 정책과 조합 가능하여 사전 훈련 및 전이 학습이 가능하다.
• 마스터 정책은 보조목표 순서를 탐색함으로써 장기적인 목표 탐색 및 질문-응답 성능을 최적화하도록 훈련되며, 애널리틱스 학습에서의 밀도 높은 지도와 환경 피드백에서의 희박한 보상에 기반한다.
• 마스터 정책과 보조정책의 공동 훈련을 통해 마스터 정책이 보조정책의 행동에 적응함으로써 전체 정책의 강건성이 향상된다.
• 고정된 시각 인코더(예: ResNet)와 VQA 헤드를 사용하여 대상 물체에 도달한 후 정답을 예측한다.

실험 결과

연구 질문

• RQ1 조합형 의미적 보조목표를 가진 계층적 정책이 장기적인 목표 탐색에서 샘플 효율성과 성능을 향상시킬 수 있는가?
• RQ2 모듈러한 계층에서 행동 클로닝과 강화 학습을 조합하면 종단 간 훈련보다 더 나은 일반화와 오류 복구 능력을 달성할 수 있는가?
• RQ3 의미적 보조목표 공간에서 계획을 수행하는 마스터 정책이 희박한 보상 환경에서 직접 기본 동작을 예측하는 모델보다 성능이 뛰어나게 되는가?
• RQ4 House3D 벤치마크에서 모델은 새로운 환경과 초기 위치에 대해 얼마나 잘 일반화되는가?
• RQ5 보조목표 순서의 해석 가능성은 모델의 투명성과 디버깅 능력을 얼마나 향상시키는가?

주요 결과

• NMC(BC + A3C)는 모든 평가 지표에서 PACMAN과 NMC(BC)를 능가하며, 초기 거리 50m에서 58.7%의 정답 정확도를 기록했고, 이는 PACMAN의 53.3%보다 높다.
• 모델은 목표 향한 진전이 유의미하게 더 높으며, 초기 거리 50m에서 평균 dΔ가 -5.28m를 기록하여 탐색 효율성이 뛰어나다는 것을 시사한다.
• 마스터 정책는 훈련 및 검증 환경 간 겹침이 없음에도 불구하고, 검증 세트에서 지표 보조목표 순서와 약 48%의 IoU를 달성하여 합리적인 일반화 능력을 보였다.
• A3C 미세조정을 통한 공동 훈련은 성능을 크게 향상시켰으며, 이는 보조정책이 자신의 행동에 대한 피드백을 받고 마스터 정책이 보조정책의 행동에 적응함으로써 전체 정책의 강건성이 향상됨을 보여준다.
• 행동 클로닝을 통한 사전 훈련은 샘플 복잡도를 감소시키고, 특히 희박한 보상 환경에서 더 빠른 수렴을 가능하게 한다.
• 모듈러한 설계 덕분에 해석 가능한 추론이 가능하다: 에이전트의 각 단계에서의 의도는 'object[sofa] 찾기'와 같이 인간이 이해할 수 있는 보조목표로 표현된다.