[논문 리뷰] Do Autonomous Agents Benefit from Hearing?

Abraham Woubie, Anssi Kanervisto외 2명|arXiv (Cornell University)|2019. 05. 10.

Neural dynamics and brain function참고 문헌 17인용 수 5

한 줄 요약

이 논문은 강화학습에서 자율 에이전트가 시각 상태 표현에 원시 음성 및 톤 특징을 추가함으로써 听각 입력으로부터 유의미한 이점을 얻는지 조사한다. ViZDoom 환경에서의 실험 결과, 시각과 청각을 조합함으로써 목표에 도달하는 평균 단계 수가 최대 57% 감소하고 성공률은 43%에서 87%로 상승함을 확인하여, 청각 정보가 시각적으로 가림이 있는 상황에서의 탐색 능력을 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Mapping states to actions in deep reinforcement learning is mainly based on visual information. The commonly used approach for dealing with visual information is to extract pixels from images and use them as state representation for reinforcement learning agent. But, any vision only agent is handicapped by not being able to sense audible cues. Using hearing, animals are able to sense targets that are outside of their visual range. In this work, we propose the use of audio as complementary information to visual only in state representation. We assess the impact of such multi-modal setup in reach-the-goal tasks in ViZDoom environment. Results show that the agent improves its behavior when visual information is accompanied with audio features.

연구 동기 및 목표

• 강화학습 에이전트의 탐색 작업 성능에 청각 입력이 향상시키는지 조사한다.
• 원시 음성 및 톤 특징이 시각 상태 표현에 대한 보조 감각 입력으로서의 영향을 평가한다.
• 복잡하고 시각적으로 가림이 있는 환경에서 간헐적 또는 지속적인 음성 입력이 더 큰 이점을 제공하는지 확인한다.
• 시력이 제한된 상황에서 음성 입력이 학습 효율성과 성공률 향상에 기여하는지 평가한다.
• 에이전트 인식에 음성 인식 기술 대신 원시 음성을 사용하는 것이 가능하고 유리한지 탐색한다.

제안 방법

• 이 연구는 ViZDoom 환경에서 목표에 도달하는 작업을 해결하기 위해 훈련된 딥 Q-네트워크(DQN) 에이전트를 사용한다.
• 상태 표현은 시각 픽셀과 함께 원시 음성 파형 또는 음성 신호에서 추출한 톤 특징을 결합한다.
• 에이전트는 각 타임스텝 또는 특정 확률(20%, 50%)로 음성 입력을 받는 별도의 실험에서 음성 입력이 제공된다.
• 훈련은 경험 재생과 타겟 네트워크를 사용하여 학습 안정성을 높이며, Q-함수는 딥 신경망을 통해 근사된다.
• 환경는 목표가 다섯 개의 방 중 하나에 무작위로 배치되도록 설정되며, 벽의 배치로 인해 목표에 도달할 수 없는 경우도 포함된다.
• 성능 평가에는 100개의 테스트 에피소드 동안 평균 성공률과 목표에 도달하는 데 소요된 평균 단계 수를 사용한다.

실험 결과

연구 질문

• RQ1 시각 상태 표현에 음성 특징을 추가하면 강화학습 에이전트의 탐색 작업 성능이 향상되는가?
• RQ2 원시 음성 또는 톤 특징을 사용할 경우 시각 전용 입력과 비교해 학습 효율성과 성공률에서 어떤 차이가 있는가?
• RQ3 훈련 및 추론 중에 음성 특징을 간헐적으로 사용할지 지속적으로 사용할지의 영향은 무엇인가?
• RQ4 시각 전용 인식의 한계를 극복하는 데 음성 입력이 도움이 되는가?
• RQ5 시각적 단서가 부족한 상황에서 음성 입력이 목표에 도달하는 데 필요한 단계 수를 줄이는가?

주요 결과

• 시각과 원시 음성 특징을 사용함으로써 다섯 개의 방에 무작위로 배치된 목표에서 평균 성공률이 시각 전용일 때 43%에서 87%로 상승했다.
• 톤 특징을 시각 입력에 추가했을 때 목표에 도달하는 데 소요된 평균 단계 수는 시각 전용일 때 1,420에서 614로 감소했다.
• 항상 음성 특징을 사용한 에이전트는 최종 평균 보상 -800을 기록했고, 음성 입력을 20% 또는 50% 확률로만 사용한 경우 평균 보상 -1,000보다 유의미하게 높았다.
• 고정된 방 환경에서는 시각 전용 에이전트가 평균 132단계에 99%의 성공률를 기록했고, 시각 + 원시 음성은 98단계에 99%의 성공률를 달성했다.
• 음성 특징의 추가로 시각적으로 복잡하거나 가림이 있는 환경에서 시각 전용 에이전트가 어려움을 겪는 상황에서도 에이전트가 더 신뢰성 있게 탐색할 수 있게 되었다.
• 결과는 청각 입력이 강화학습 에이전트의 의사결정 능력을 향상시키는 의미 있는 보완 정보를 제공한다는 것을 확인한다.