[논문 리뷰] BabyAI 1.1

David Yu-Tung Hui, Maxime Chevalier-Boisvert외 2명|arXiv (Cornell University)|2020. 07. 24.

Spectroscopy Techniques in Biomedical and Chemical Research인용 수 4

한 줄 요약

BabyAI 1.1은 시각-언어 지시어를 따르는 에이전트를 훈련할 때 표본 효율성을 향상시키기 위해 세 가지 아키텍처 및 표현 방식의 개선을 도입한다: 시각 인코더에서 최대 풀링 제거, FiLM 레이어 주변에 잔차 연결 추가, 그리고 시각 입력에 대해 Bag-of-Words (BOW) 표현 방식 도입. 이러한 개선은 강화학습의 표본 효율성을 최대 3배로 높이며, 가장 곤란한 레벨(BossLevel)에서 타깃 학습 성공률을 77%에서 90.4%로 향상시킨다.

ABSTRACT

The BabyAI platform is designed to measure the sample efficiency of training an agent to follow grounded-language instructions. BabyAI 1.0 presents baseline results of an agent trained by deep imitation or reinforcement learning. BabyAI 1.1 improves the agent's architecture in three minor ways. This increases reinforcement learning sample efficiency by up to 3 times and improves imitation learning performance on the hardest level from 77 % to 90.4 %. We hope that these improvements increase the computational efficiency of BabyAI experiments and help users design better agents.

연구 동기 및 목표

• BabyAI 환경에서 기반 언어 지시어를 따르는 에이전트를 훈련할 때 표본 효율성을 향상시키기 위해.
• 특히 정보 흐름과 훈련 효율성에 한계가 있는 원래의 BabyAI 1.0 에이전트 아키텍처의 문제점을 해결하기 위해.
• 특히 BossLevel와 같이 가장 곤란한 레벨에서 타깃 학습 성능을 향상시키기 위해.
• 네트워크 아키텍처와 시각 표현 방식을 최적화하여 실험의 계산 효율성을 높이기 위해.
• 미래의 시각-언어 지시어 따르기 및 제로샷 일반화 연구를 위한 더 견고하고 확장 가능한 기반을 제공하기 위해.

제안 방법

• 시각 인코더의 초기 단계에서 최대 풀링 레이어를 제거하여 공간 해상도를 유지하고 고차원 레이어로의 정보 흐름을 향상시키기 위해.
• 시각-언어 융합 모듈 내 FiLM 레이어 주변에 잔차 연결을 도입하여 훈련 안정성과 기울기 흐름을 향상시키기 위해.
• 원시 정수 기반 타일 표현 방식을 대체하기 위해, 각 타일 속성(유형, 색상, 상태)을 룩업 테이블을 통해 임베딩하고 평균화하는 학습된 Bag-of-Words (BOW) 임베딩을 도입하기 위해.
• 3채널 RGB 이미지 표현 방식을 시각 입력의 대안으로 사용하여, 7×7 격자를 56×56×3 텐서로 변환하여 엔드 투 엔드 CNN 처리를 가능하게 하기 위해.
• PPO를 사용한 딥 강화학습과 행동 클로닝을 사용한 타깃 학습을 모두 적용하고, 아키텍처 및 시각 표현 방식의 변형에 대한 분석 실험을 수행하기 위해.
• 단일 실내(작은) 및 다중 실내(큰) 환경을 포함한 여러 레벨에서 성능을 평가하며, 주요 평가 지표로 성공률과 훈련 표본 효율성을 사용하기 위해.

실험 결과

연구 질문

• RQ1 최대 풀링 제거 및 FiLM 레이어 주변에 잔차 연결 추가와 같은 아키텍처 수정이 BabyAI 플랫폼에서 강화학습의 표본 효율성에 어떤 영향을 미치는가?
• RQ2 원래의 정수 기반 표현 방식에 비해 Bag-of-Words (BOW) 시각 표현 방식을 채택할 경우 타깃 학습 성능은 어느 정도 향상되는가?
• RQ3 시각 입력 표현 방식(BOW 대 상대적 픽셀 대 원래 표현 방식)이 다양한 레벨에서 훈련 효율성과 최종 성능에 어떤 영향을 미치는가?
• RQ4 아키텍처적 및 표현적 개선의 조합이 가장 곤란한 레벨(BossLevel)에서 성능을 크게 향상시킬 수 있는가? 여기서 기준 성공률은 단지 77%였다.
• RQ5 이러한 변경 사항이 계산 효율성에 어떤 영향을 미치는가? 특히 강화학습 훈련 중 프레임 당 초당 수치(FPS) 측면에서.

주요 결과

• 시각 인코더에서 최대 풀링을 제거함으로써 강화학습의 표본 효율성이 최대 3배 향상되었으며, 훈련 에피소드 수가 크게 감소하였다.
• FiLM 레이어 주변에 잔차 연결을 추가함으로써 가장 곤란한 작업, 특히 GoToLocal 및 PutNextLocal에서 표본 효율성이 향상되었으며, 모든 작업에서의 결과는 혼합된 결과를 보였다.
• Bag-of-Words (BOW) 시각 표현 방식을 도입함으로써 가장 곤란한 레벨(BossLevel)에서 타깃 학습 성공률이 77%에서 90.4%로 상당한 향상이 이루어졌으며, 제로샷 일반화 능력 향상이 확인되었다.
• BOW 표현 방식은 단지 10,000개의 시연 데이터만으로도 여섯 개의 가장 쉬운 레벨에서 거의 완벽한 타깃 학습 성능(≥99.5% 성공률)을 달성하여 원래 표현 방식과 픽셀 기반 표현 방식을 모두 능가하였다.
• 잔차 연결이 있는 BOW 기반 아키텍처(bow_endpool_res)는 강화학습과 타깃 학습 양 측면에서 가장 높은 성능을 기록하였으며, 가장 높은 성공률과 가장 빠른 수렴 속도를 보였다.
• 픽셀 기반 시각 입력을 사용한 훈련은 특히 가장 복잡한 레벨에서 훈련을 안정화시키기 위해 학습률을 5×10⁻⁵로 감소시켜야 했으며, 이는 BOW 및 원래 표현 방식에 비해 훈련 난이도가 더 높다는 것을 시사한다.