[논문 리뷰] Are We There Yet? Learning to Localize in Embodied Instruction Following

Shane Storks, Qiaozi Gao외 2명|arXiv (Cornell University)|2021. 01. 09.

Multimodal Machine Learning Applications참고 문헌 25인용 수 7

한 줄 요약

이 논문은 ALFRED 벤치마크에서 에이전트의 상대적 각도를 원형 시각 입력과 물체 세그멘테이션 마스크를 사용하여 목표 위치로 향하는 방향을 예측하는 BERT 기반 공간 위치 추정 모듈을 제안한다. 이 방법은 강력한 베이스라인 대비 행동 예측 및 내비게이션 성공률을 향상시키지만, 실제 방향 정보를 제공하는 오라클 대비 성능이 열등하여 내비게이션 에이전트의 공간 추론 능력 향상 여지가 있음을 시사한다.

ABSTRACT

Embodied instruction following is a challenging problem requiring an agent to infer a sequence of primitive actions to achieve a goal environment state from complex language and visual inputs. Action Learning From Realistic Environments and Directives (ALFRED) is a recently proposed benchmark for this problem consisting of step-by-step natural language instructions to achieve subgoals which compose to an ultimate high-level goal. Key challenges for this task include localizing target locations and navigating to them through visual inputs, and grounding language instructions to visual appearance of objects. To address these challenges, in this study, we augment the agent's field of view during navigation subgoals with multiple viewing angles, and train the agent to predict its relative spatial relation to the target location at each timestep. We also improve language grounding by introducing a pre-trained object detection module to the model pipeline. Empirical studies show that our approach exceeds the baseline model performance.

연구 동기 및 목표

• 지속적이고 포토레얼리스틱 환경에서 공간 위치 추정과 언어 기반 정렬을 향상시켜 임베디드 지시 수행 능력을 향상시키기 위해.
• ALFRED 벤치마크에서 자연어 지시와 시각 입력을 활용해 목표 위치로 내비게이션하는 과제를 해결하기 위해.
• 학습된 공간 추적 성능과 목표 위치로 향하는 진짜 방향 정보를 제공하는 오라클 간의 성능 격차를 줄이기 위해.
• 원형 시각 입력, 물체 세그멘테이션 마스크, 그리고 트랜스포머 기반 위치 추정 모듈이 내비게이션 및 행동 예측 향상에 얼마나 기여하는지 평가하기 위해.

제안 방법

• 각 내비게이션 타임스텝에서 에이전트의 입력에 원형 시각 관측치와 전체 물체 세그멘테이션 마스크를 추가한다.
• 지시어와 시각적 물체를 연결함으로써 언어 기반 정렬을 향상시키기 위해 사전 학습된 물체 검출 모듈을 도입한다.
• 에이전트의 목표 위치에 대한 상대적 방향을 예측하는 BERT 기반 공간 위치 추정 모듈을 제안한다.
• BERT의 [CLS] 토큰 표현을 사용해 목표 위치로 향하는 각도 방향을 회귀하는 방식으로 위치 추정 모듈을 종합적으로 학습한다.
• 행동 시퀀스 예측 정밀도를 향상시키기 위해 단계별 학습 프레임워크를 활용한다.
• 주된 행동 예측 헤드와 함께 위치 추정 헤드를 함께 학습하는 다중 작업 학습 설정을 사용한다.

실험 결과

연구 질문

• RQ1 학습된 공간 위치 추정 모듈이 표준 베이스라인을 초월해 임베디드 지시 수행 내비게이션 성능을 향상시킬 수 있는가?
• RQ2 내비게이션 중에 진짜 방향 정보(오라클)를 제공할 경우 얼마나 많은 성능 향상이 달성될 수 있는가?
• RQ3 원형 시각 입력과 물체 세그멘테이션 마스크가 공간 추론 및 행동 예측에 얼마나 기여하는가?
• RQ4 트랜스포머 기반 위치 추정 헤드가 상대적 에이전트-목표 방향 추정에서 단순한 베이스라인을 초월하는가?

주요 결과

• 제안된 BERT 기반 로컬라이저는 본 적 있는 방에서는 9.3%, 본 적 없는 방에서는 13.1%의 행동 단위 F-측정치 향상을 기록하여 기존 베이스라인을 초월한다.
• 모델은 베이스라인 대비 약간의 내비게이션 보조 목표 성공률 향상을 기록하지만, 오라클 성능에 비해 여전히 크게 뒤진다.
• 진짜 방향 정보를 제공하는 오라클 공간 추적 방식은 내비게이션 보조 목표 및 목표 조건 성공률 모두에서 극적인 성능 향상을 이룬다.
• 세밀한 단계별 학습은 행동 예측 정밀도를 크게 향상시키지만, 전체 내비게이션 또는 목표 성공률에 미치는 영향은 제한적이다.
• 학습된 로컬라이저와 오라클 간의 성능 격차는 현재 공간 추론 기법이 여전히 크게 향상될 여지가 있음을 시사한다.