[논문 리뷰] See, Hear, Explore: Curiosity via Audio-Visual Association

Victoria Dean, Shubham Tulsiani외 1명|arXiv (Cornell University)|2020. 07. 07.

Cognitive Science and Education Research참고 문헌 42인용 수 18

한 줄 요약

이 논문은 강화학습에서 미래 상태를 예측하는 것보다는 새로운 청각-시각 연합을 발견하는 데 보상을 주는, 새로운 궁금증 기반 탐색 방법인 See, Hear, Explore (SHE)를 제안한다. 다중모달 감각 입력을 활용함으로써, SHE는 아케이드 게임과 헤비세이트 내비게이션 시뮬레이터에서 더 효율적이고 강건한 탐색을 달성하며, 특히 노이즈가 있는 조건에서 미래 예측 기반 기준선보다 뛰어난 성능을 보인다.

ABSTRACT

Exploration is one of the core challenges in reinforcement learning. A common formulation of curiosity-driven exploration uses the difference between the real future and the future predicted by a learned model. However, predicting the future is an inherently difficult task which can be ill-posed in the face of stochasticity. In this paper, we introduce an alternative form of curiosity that rewards novel associations between different senses. Our approach exploits multiple modalities to provide a stronger signal for more efficient exploration. Our method is inspired by the fact that, for humans, both sight and sound play a critical role in exploration. We present results on several Atari environments and Habitat (a photorealistic navigation simulator), showing the benefits of using an audio-visual association model for intrinsically guiding learning agents in the absence of external rewards. For videos and code, see https://vdean.github.io/audio-curiosity.html.

연구 동기 및 목표

• 외부 보상 없이도 효율적인 탐색을 달성하기 위한 과제를 해결하기 위해.
• 높은 차원의 공간에서 학습하기 어려우며 노이즈에 민감한 미래 예측 기반 궁금증의 한계를 극복하기 위해.
• 특히 시각과 청각 간의 연합이 더 강력하고 강건한 내재 보상 신호를 제공할 수 있는지 탐색하기 위해.
• 표준 아케이드 환경과 실제적인 사진처럼 생긴 내비게이션 시뮬레이터(Habitat)에서 방법을 평가하기 위해.
• 기존 기준선 대비 청각-시각 연합 기반 궁금증이 더 샘플 효율적이고 노이즈에 강건한 학습을 이끌 수 있음을 입증하기 위해.

제안 방법

• 다중모달 분류기(대조 학습 프레임워크)를 사용하여, 청각 및 시각 특징이 같은 사건에서 유래한 경우(양성 쌍)인지 여부를 식별한다.
• 내재 보상은 청각-시각 대조 예측 헤드의 교차 엔트로피 손실로 정의되며, 이는 모델이 올바른 감각 쌍을 연관짓는 능력을 측정한다.
• 에이전트는 청각-시각 연합 분류기에서 높은 불확실성 또는 낮은 신뢰도를 보이는 행동에 대해 보상을 받으며, 이는 새로운 연합을 발견했음을 나타낸다.
• 청각 및 시각 특징은 별도의 CNN(예: 시각에 대해 ResNet-18, 청각에 대해 1D CNN)를 사용해 추출되며, 이후 대조 헤드용으로 연결된다.
• 전체 미래 상태 예측기를 학습하는 대신, 모odal 간 공유 표현을 학습하는 데 집중한다.
• 정책과 함께 엔드 투 엔드로 훈련되며, 대조 손실이 내재 보상 신호로 작용하여 탐색을 이끌어낸다.

실험 결과

연구 질문

• RQ1 미래 예측 대비 청각-시각 연합이 강화학습에서 더 강건하고 효과적인 내재 보상 신호로 기능할 수 있는가?
• RQ2 다중모달 궁금증이 고스티스틱성 또는 센서 노이즈가 많은 환경에서 더 효율적인 탐색을 이끌 수 있는가?
• RQ3 청각-시각 궁금증은 표준 궁금증 기준선 대비 복잡한 현실적인 환경(예: 헤비세이트 시뮬레이터)에서 어떻게 성능을 내는가?
• RQ4 청각-시각 연합 기반 궁금증은 단순한 아케이드 게임부터 사진처럼 생긴 3D 내비게이션에 이르기까지 다양한 작업과 환경에서 일반화 가능한가?
• RQ5 제안된 방법은 미래 예측 기반 궁금증보다 더 샘플 효율적이고 입력 노이즈에 더 강건한가?

주요 결과

• SHE는 12개 아케이드 게임 중 10개에서 표준 궁금증 기준선을 능가하며, 더 높은 샘플 효율성과 일관된 탐색 성능을 기록했다.
• 헤비세이트 시뮬레이터에서 SHE는 영역 커버리지와 탐색 효율성에서 기준선을 크게 능가하며, 현실적이고 복잡한 환경에서 강력한 성능을 보였다.
• 입력 노이즈에 더 강건하다: 시각 및 청각 특징에 가우시안 노이즈를 추가했을 때 성능 저하가 미래 예측 기준선보다 훨씬 적었다.
• MsPacman, SpaceInvaders, Asterix의 노이즈가 있는 변형 버전에서 SHE는 안정된 성능을 유지했고, 미래 예측 기준선은 심한 성능 저하를 보였다.
• 미래 예측과 청각-시각 대조 손실을 함께 사용하는 통합 방법은 12개 아케이드 게임 중 10개에서 개별 구성 요소보다 뛰어난 성능을 보였다.
• 제거 실험 결과, 청각 및 시각 특징를 함께 사용할 경우 시각 특징만 사용할 경우보다 성능 향상이 확인되어 다중모달 연합의 중요성을 입증했다.