[논문 리뷰] Mapping Instructions to Actions in 3D Environments with Visual Goal Prediction

Dipendra Misra, Andrew Bennett외 4명|arXiv (Cornell University)|2018. 09. 04.

Multimodal Machine Learning Applications참고 문헌 44인용 수 17

한 줄 요약

이 논문은 3D 환경에서 지시 수행을 위한 이중 단계 모델을 제안하며, 목표 예측과 동작 생성을 분리한다. 언어에 조건화된 U-Net(LingUNet)을 사용해 원시 관측값과 언어로부터 시각적 목표 위치를 예측하고, 이후 RNN을 활용해 해당 목표 향한 동작를 생성한다. 이 접근법은 내비게이션 및 가정 지시 작업에서 뚜렷한 성능 향상을 이룩하였으며, 인간 평가 결과 자동 평가 지표와 인간 판단 간 강한 상관관계를 보였다.

ABSTRACT

We propose to decompose instruction execution to goal prediction and action generation. We design a model that maps raw visual observations to goals using LINGUNET, a language-conditioned image generation network, and then generates the actions required to complete them. Our model is trained from demonstration only without external resources. To evaluate our approach, we introduce two benchmarks for instruction following: LANI, a navigation task; and CHAI, where an agent executes household instructions. Our evaluation demonstrates the advantages of our model decomposition, and illustrates the challenges posed by our new benchmarks.

연구 동기 및 목표

• 3D 상호작용 환경에서 자연어 지시를 실행하는 데 있어 목표 예측과 동작 생성을 분리함으로써 도전 과제를 해결한다.
• 수동으로 설계된 기호적 표현이나 외부 도구 없이도 시각적 관측 공간에서 직접 목표를 예측할 수 있는 모델을 개발한다.
• 실제 세계 지시 수행의 복잡성을 강조하기 위해 Lani(내비게이션용) 및 Chai(가정 작업용)라는 두 가지 새로운 벤치마크에서 모델을 평가한다.
• 목표 예측에 지도학습, 동작 생성에 강화학습을 적용한 것이 통합 훈련보다 더 높은 성능을 낸다는 것을 입증한다.
• 관측값에 겹쳐진 시각적 주의 맵을 통해 해석 가능하고 인간이 검증할 수 있는 목표 예측을 제공한다.

제안 방법

• 언어 및 시각 입력에 기반해 이미지 픽셀 상의 확률 분포를 생성함으로써 목표 위치를 예측하기 위해 언어에 조건화된 U-Net 변종인 LingUNet을 사용한다.
• 목표 예측을 이미지 간 번역 작업으로 간주함으로써 타겟 영역을 강조하는 해석 가능한 시각적 주의 맵을 가능하게 한다.
• 목표가 예측된 후에는 별도의 RNN 기반 정책 헤드를 사용해 동작 시퀀스를 생성하며, 맥락 기반 밴딧 정책 기반 강화학습으로 훈련한다.
• 사전 학습된 객체 검출기, 파arser, 외부 지식 없이도 시연 데이터만으로 전체 모델을 엔드 투 엔드로 훈련한다.
• 두 가지 새로운 벤치마크를 도입한다: 3D 환경에서 6,000개의 내비게이션 지시를 포함한 Lani와, 내비게이션 및 조작을 포함한 1,596개의 가정 지시 시퀀스를 포함한 Chai.
• 자동 평가 지표(성공률, 거리 오차, 조작 정확도)와 인간 평가를 사용해 성능을 평가하며, 자동 평가 지표와 인간 판단 간 강한 상관관계(r = -0.65)를 보였다.

실험 결과

연구 질문

• RQ1 3D 환경에서 지시 수행 작업에서 목표 예측과 동작 생성을 분리하면 성능 향상이 이루어지는가?
• RQ2 기호적 표현이나 외부 표현 없이도 시각 기반 언어 조건화 목표 예측 모델은 얼마나 효과적인가?
• RQ3 목표 예측에 지도학습, 동작 생성에 강화학습을 적용한 것이 통합 훈련보다 얼마나 더 우수한가?
• RQ4 복잡한 지시 수행 작업에서 자동 평가 지표와 인간 판단 간 상관관계는 얼마나 높은가?
• RQ5 지시의 모호성과 궤적 제약 조건에 대한 모델의 주요 실패 원인과 한계는 무엇인가?

주요 결과

• Lani 내비게이션 벤치마크에서 제안된 모델은 63%의 성공률(SD)과 평균 거리 오차 1.34를 기록하며 베이스라인을 크게 앞서며, 인간 평가 결과 인간 지시자 평균 점수 4.38 대비 평균 점수 3.78를 기록했다.
• Chai 가정 지시 벤치마크에서 모델은 100%의 조작 정확도를 기록했지만 내비게이션에서는 어려움을 겪었으며, 이는 다중 목표, 다중 동작 작업의 높은 복잡성을 반영한다.
• 제거 실험 결과, 지도학습 기반 목표 예측과 정책 기반 동작 생성으로 학습을 분리하는 것이 가장 큰 성능 향상을 가져왔으며, 특히 Chai에서 두드러졌다.
• 목표 위치에 대한 오라클 액세스는 내비게이션 성능을 크게 향상시켰지만, 효과적인 조작 학습을 가능하게 하지는 못했으며, 이는 조작 작업의 계획 복잡성을 강조한다.
• 자동 평가 지표는 인간 판단과 강하게 상관되었으며, 피어슨 상관계수 r = -0.65, p = 5e-7로, 자동 평가의 유효성을 입증했다.
• 모델은 지시의 시간적 조율과 공호성에 대한 이해에 어려움을 겪어, 다단계 간의 의존성에 대한 추론 능력에 한계가 있음을 보였다.