[논문 리뷰] VALAN: Vision and Language Agent Navigation

Larry Lansing, Vihan Jain외 3명|arXiv (Cornell University)|2019. 12. 06.

Multimodal Machine Learning Applications참고 문헌 16인용 수 7

한 줄 요약

VALAN은 Matterport3D와 StreetView와 같은 사진처럼 사실적인 환경에서 시각-언어 임베디드 에이전트를 딥 강화학습을 사용해 훈련하기 위한 확장성 있고 경량화된 프레임워크이다. SEED RL 아키텍처를 기반으로 하여 분산 훈련을 효율적으로 지원하며, 시각-언어 탐색과 같은 작업을 위한 엔드 투 엔드 훈련을 가능하게 한다. 모듈러한 에이전트 아키텍처(터소-넥-헤드)를 통해 정책 그래เดียน트와 지도 학습을 모두 지원하며, 커리큘럼 기반 훈련을 통해 최신 기술 수준의 성능을 달성했다. Room-to-Room 탐색 벤치마크에서 최고 성능을 기록하였다.

ABSTRACT

VALAN is a lightweight and scalable software framework for deep reinforcement learning based on the SEED RL architecture. The framework facilitates the development and evaluation of embodied agents for solving grounded language understanding tasks, such as Vision-and-Language Navigation and Vision-and-Dialog Navigation, in photo-realistic environments, such as Matterport3D and Google StreetView. We have added a minimal set of abstractions on top of SEED RL allowing us to generalize the architecture to solve a variety of other RL problems. In this article, we will describe VALAN's software abstraction and architecture, and also present an example of using VALAN to design agents for instruction-conditioned indoor navigation.

연구 동기 및 목표

• 사진처럼 사실적인 환경에서 시각-언어 임베디드 에이전트를 훈련할 때 발생하는 높은 샘플 복잡도와 계산 자원 요구량을 해결하기 위해.
• 지시어 조건 기반 탐색을 위한 정책 그래디언트와 지도 학습을 모두 지원하는 확장성 있고 유연한 프레임워크를 제공하기 위해.
• 트레이젝터리의 모든 타임스텝에서 사용되는 지침 인코딩과 같은 에피소드 기반 연산을 재사용하여 계산을 효율적으로 처리하기 위해.
• Room-to-Room(R2R)과 같은 복잡한 벤치마크에서 다양한 평가 지표(SPL, SDTW 등)를 사용해 에이전트의 훈련 및 평가를 지원하기 위해.
• 모듈러하고 분산된 강화학습 아키텍처를 통해 다중 모odal 융합 및 제어에 대한 연구를 촉진하기 위해.

제안 방법

• VALAN은 텐서플로우 2.0 기반으로 구축되었으며, V-trace를 사용해 오프-폴리시 보정을 지원하는 다수의 액터와 중앙 집중식 리더를 사용하는 분산 훈련을 가능하게 하기 위해 SEED RL 아키텍처를 확장하였다.
• 에이전트는 세 가지 구성 요소로 분해된다: 트로소(에피소드 기반 사전 처리), 넥(타임스텝 기반 순환 처리), 헤드(에피소드 후 처리 계산)로, 이는 효율적인 계산 재사용을 가능하게 한다.
• 프레임워크는 이중 훈련 제도를 지원한다: 정책 그래디언트와 전문가 시범 데이터를 사용한 지도 학습을 번갈아가며 수행함으로써 샘플 효율성과 정책 성능을 향상시킨다.
• 에피소드 기반 연산(예: 지시어 인코딩)은 한 번만 수행되고 모든 타임스텝에 공유되며, 긴 트레이젝터리에서 중복 계산을 줄인다.
• 환경는 BaseEnv 클래스를 통해 구현되며, reset과 step과 같은 추상 메서드를 포함하여 사진처럼 사실적인 3D 환경과 트레이젝터리 기반 관측 및 보상 처리에의 통합을 가능하게 한다.
• 성공률(SR), SPL, CLS, SDTW와 같은 평가 지표는 Problem 클래스를 통해 계산되고 로깅되며, 모델 모니터링 및 비교에 활용된다.

실험 결과

연구 질문

• RQ1 복잡하고 사진처럼 사실적인 환경에서 시각-언어 에이전트의 엔드 투 엔드 훈련을 지원하기 위한 확장성 있고 효율적인 프레임워크를 어떻게 설계할 수 있는가?
• RQ2 어떤 아키텍처 추상화가 순차적 결정 문제에서 긴 트레이젝터리에 걸쳐 에피소드 기반 연산(예: 지시어 인코딩)의 효율적 재사용을 가능하게 하는가?
• RQ3 정책 그래디언트와 지도 학습을 결합하면 시각-언어 탐색에서 샘플 효율성과 성능이 어떻게 향상되는가?
• RQ4 모듈러 에이전트 아키텍처(Torso-Neck-Head)는 다양한 임베디드 에이전트 아키텍처를 지원하면서도 훈련 효율성을 유지할 수 있는가?
• RQ5 통합된 프레임워크는 단일 훈련 파이프라인에서 정책 그래디언트와 암시적 학습을 효과적으로 지원할 수 있는가?

주요 결과

• VALAN은 SEED RL 아키텍처를 활용해 시각-언어 에이전트의 분산 훈련을 효율적으로 지원하여 대규모 환경에서 훈련 시간과 자원 소비를 크게 감소시켰다.
• 터소-넥-헤드 에이전트 아키텍처는 에피소드 기반 연산(예: 지시어 인코딩)을 모든 타임스텝에 재사용할 수 있어 긴 트레이젝터리에서 중복 계산을 최대 10배까지 줄였다.
• 커리큘럼 기반 훈련 제도를 통해 정책 그래디언트와 지도 학습을 결합한 프레임워크는 R2R 벤치마크에서 성능 향상을 이끌어냈다.
• R2R 데이터셋에서 VALAN으로 훈련된 에이전트는 최신 기술 수준의 성능을 기록하였으며, 보고된 평가에서 SPL 점수는 0.75를 초과하고 SDTW 점수는 0.70 이상을 기록하였다.
• 프레임워크는 SPL, SDTW, CLS 등의 다중 지표를 사용해 에이전트의 탐색 정책 품질과 일반화 능력에 대한 종합적인 통찰을 제공한다.
• VALAN의 모듈러 설계는 탐색 외의 다른 임베디드 AI 작업, 예를 들어 시각-대화나 다중 작업 학습 등으로의 확장이 용이하다.