[논문 리뷰] Auxiliary Tasks Speed Up Learning PointGoal Navigation

Joel Ye, Dhruv Batra외 2명|arXiv (Cornell University)|2020. 07. 09.

Multimodal Machine Learning Applications참고 문헌 49인용 수 6

한 줄 요약

이 논문은 PointGoal 탐색에서 샘플 효율적인 학습을 가속화하기 위해 자기지도 보조 작업(예: 동작 조건부 대비 예측 코드, 역동역학, 시간적 거리 추정)을 주의 메커니즘을 통해 통합하는 방법을 제안한다. 이 방법은 이전 최고 성능 기준(D-D-PPO)보다 5.5배 빠른 수렴 속도를 달성하여 단지 700만 프레임 만에 0.55 SPL을 달성하며, 샘플 복잡도는 5.5배 감소하고 4000만 프레임 기준으로 0.16 SPL 향상도 달성한다.

ABSTRACT

PointGoal Navigation is an embodied task that requires agents to navigate to a specified point in an unseen environment. Wijmans et al. showed that this task is solvable but their method is computationally prohibitive, requiring 2.5 billion frames and 180 GPU-days. In this work, we develop a method to significantly increase sample and time efficiency in learning PointNav using self-supervised auxiliary tasks (e.g. predicting the action taken between two egocentric observations, predicting the distance between two observations from a trajectory,etc.).We find that naively combining multiple auxiliary tasks improves sample efficiency,but only provides marginal gains beyond a point. To overcome this, we use attention to combine representations learnt from individual auxiliary tasks. Our best agent is 5.5x faster to reach the performance of the previous state-of-the-art, DD-PPO, at 40M frames, and improves on DD-PPO's performance at 40M frames by 0.16 SPL. Our code is publicly available at https://github.com/joel99/habitat-pointnav-aux.

연구 동기 및 목표

• 포토레얼리스틱 환경에서 PointGoal 탐색을 위한 몸체 기반 에이전트 학습의 샘플 및 시간 효율성을 향상시키기 위해.
• 자기지도 보조 작업이 단순한 환경에서 복잡한 포토레얼리스틱 환경(예: Gibson)으로 이행될 때 효과적으로 전이되는지 조사하기 위해.
• 다양한 보조 작업을 통합했을 때의 상호작용 방식을 규명하고, 손실 함수를 단순히 합산하는 방식이 정상적인 전이 효과를 유도할지 또는 간섭을 유발할지 판단하기 위해.
• 다양한 보조 작업의 표현을 효과적으로 융합하는 메커니즘을 개발하여, 단순 통합 방식으로 인한 수익 감소 문제를 해결하기 위해.
• 보조 작업이 에이전트의 내부 믿음 모듈에서 특수화된 기능 역할을 유도하는지 분석하기 위해.

제안 방법

• 에이전트는 다중 보조 작업 헤드를 갖춘 순환 아키텍처를 사용하여 자기지도 신호를 자기 중심 관측에서 학습한다.
• 세 가지 핵심 보조 작업이 사용된다: 동작 조건부 대비 예측 코드(CPC|A), 역동역학(ID), 시간적 거리 추정(TD).
• 개별 보조 작업의 표현은 학습 가능한 주의 메커니즘을 통해 융합되어, 작업의 관련성에 따라 동적 가중치를 부여한다.
• 주의 메커니즘은 주된 정책과 함께 엔드 투 엔드로 학습되어, 다중 작업 표현의 적응적 융합을 가능하게 한다.
• 제거 실험에서는 모듈 마스킹을 사용하여 각 보조 작업이 전체 성능에 기여하는 기능적 기여도를 평가한다.
• 메트릭으로 SPL과 샘플 효율성을 주요 기준으로 삼아, Habitat PointNav 벤치마크에서 Gibson 데이터셋을 사용해 평가한다.

실험 결과

연구 질문

• RQ1 자기지도 보조 작업이 복잡한 포토레얼리스틱 환경에서 PointGoal 탐색의 샘플 효율성을 크게 향상시킬 수 있는가?
• RQ2 다양한 보조 작업을 통합했을 때 상호작용 방식은 어떻게 되는가? 정상적인 전이 효과가 발생하는가, 아니면 간섭이 발생하는가?
• RQ3 보조 작업 간 손실을 단순히 합산하는 방식이 수익 감소를 유도하는가? 만약 그렇다면 주의 기반 융합이 이를 극복할 수 있는가?
• RQ4 개별 보조 작업이 에이전트의 내부 믿음 모듈에서 특수화된 기능 역할을 유도하는가?
• RQ5 보조 작업 표현의 주의 기반 융합이 단일 작업 학습 또는 단순 다중 작업 학습 대비 더 빠른 수렴과 향상된 성능을 이끌 수 있는가?

주요 결과

• 제안된 방법은 단지 700만 프레임 만에 0.55 SPL을 달성하여, 기준선인 D-D-PPO 방법보다 5.5배 더 빠른 수렴 속도를 확보한다. D-D-PPO는 동일한 성능에 도달하기 위해 4000만 프레임이 소요된다.
• 고정된 예산 4000만 프레임 기준으로 최고 성능 모델은 SPL을 0.55에서 0.70으로 향상시켜 상대적 27% 향상을 달성했으며, D-D-PPO 대비 0.16 SPL 향상을 기록했다.
• 가장 우수한 단일 보조 작업인 CPC|A-4는 4000만 프레임 기준으로 성능을 0.55에서 0.66 SPL로 향상시켜 상대적 22% 향상을 달성했다.
• 다양한 보조 작업을 단순히 통합한 결과는 추가적인 성능 향상을 이끌었으며, 4000만 프레임 기준으로 0.70 SPL을 달성했고, 1200만 프레임에서 0.55 SPL을 달성하여 3.3배의 수렴 속도 향상을 보였다.
• 마스킹 실험 결과 CPC|A-8가 성능 향상에 핵심적인 역할을 함을 확인: 이를 제거하면 SPL이 0.712에서 0.233로 급격히 감소하여 특수화된 기능 역할을 유도하는 것으로 나타났다.
• 주의 시각화 결과는 모듈 활성화가 환경 위치에 따라 군집화되어 있음을 보여주며, 생물학적 시스템의 장소 세포와 유사한 잠재적 특수화가 발생하고 있음을 시사한다.