[논문 리뷰] Sound Adversarial Audio-Visual Navigation

Yingfeng Yu, Wenbing Huang외 4명|arXiv (Cornell University)|2022. 02. 22.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 음향 환경이 복잡한 3D 환경에서 에이전트가 강건하게 탐색할 수 있도록, 동적으로 방해하는 소리를 내는 음향 공격자(attackers)를 시뮬레이션하는 새로운 프레임워크인 Sound Adversarial Audio-Visual Navigation (SAAVN)을 제안한다. 이 방법은 중심화된 크리틱을 사용하는 공동 Actor-Critic 학습 체계를 사용하여, Replica 및 Matterport3D 데이터셋에서 청소된, 미리 보지 않은, 그리고 악성 환경 모두에서 일반화 능력과 강건성을 크게 향상시킨다.

ABSTRACT

Audio-visual navigation task requires an agent to find a sound source in a realistic, unmapped 3D environment by utilizing egocentric audio-visual observations. Existing audio-visual navigation works assume a clean environment that solely contains the target sound, which, however, would not be suitable in most real-world applications due to the unexpected sound noise or intentional interference. In this work, we design an acoustically complex environment in which, besides the target sound, there exists a sound attacker playing a zero-sum game with the agent. More specifically, the attacker can move and change the volume and category of the sound to make the agent suffer from finding the sounding object while the agent tries to dodge the attack and navigate to the goal under the intervention. Under certain constraints to the attacker, we can improve the robustness of the agent towards unexpected sound attacks in audio-visual navigation. For better convergence, we develop a joint training mechanism by employing the property of a centralized critic with decentralized actors. Experiments on two real-world 3D scan datasets, Replica, and Matterport3D, verify the effectiveness and the robustness of the agent trained under our designed environment when transferred to the clean environment or the one containing sound attackers with random policy. Project: \url{https://yyf17.github.io/SAAVN}.

연구 동기 및 목표

• 실세계 음향 노이즈 또는 의도적인 간섭에 노출되었을 때 기존의 음성-시각 탐색 에이전트가 보여 주는 강건성 부족 문제를 해결하기 위해.
• 에이전트를 방해하기 위해 동적으로 음량과 음성 카테고리를 조절하는 현실적인 악성 음향 환경을 시뮬레이션하기 위해.
• 에이전트와 공격자 간의 0-합 게임 설정에서의 적대적 학습을 통해 에이전트의 강건성을 향상시키기 위해.
• 학습 안정성 향상과 수렴성 향상을 위해 중심화된 크리틱을 사용하는 공동 학습 기반 구조를 개발하기 위해.
• 에이전트의 이식성과 청소된 환경 및 악성 환경(미리 보지 않은 설정 포함)에서의 성능 평가를 위해.

제안 방법

• 에이전트의 주의를 산산이 깨트리는 것을 목적으로, 환경을 이동하며 매 타임스텝마다 음량과 카테고리를 조절하는 음향 공격자를 도입한다.
• 에이전트와 공격자 간의 상호작용을 0-합 이인자 게임으로 모델링하며, 학습 가능성과 공정성을 확보하기 위해 공격자 에너지에 제약을 둔다(음량 비율 < 1).
• 중심화된 크리틱과 분산된 액터를 사용하는 공동 Actor-Critic 프레임워크를 적용하여 학습 안정성 향상과 정책 학습 향상에 기여한다.
• 시각 및 청각 임베딩(512차원)의 원소별 곱셈을 통한 다중모달 융합 기법을 사용하여 특징 표현을 강화하고, 연결(concatenation) 방식보다 우수한 성능을 기록한다.
• 강건성 평가를 위해 주기적(P), 변동적(V), 지속적(C) 공격 유형 3종류를 학습하고, 병합된 PVC 설정을 통해 종합적 평가를 수행한다.
• SoundSpaces 플랫폼을 활용하고, 표준 평가 지표(SPL, R_mean, DTG, SSPL)를 사용해 Replica 및 Matterport3D 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 통제된 악성 음향 환경에서 학습한 음성-시각 탐색 에이전트가 청소된 환경으로 이식되었을 때도 여전히 우수한 성능을 보일 수 있는가?
• RQ2 동적으로 변화하는 음향 공격자에 대비한 적대적 학습은 청소된 환경에서 학습한 경우에 비해 강건성을 얼마나 향상시키는가?
• RQ3 중심화된 크리틱을 사용한 공동 학습은 에이전트와 공격자를 별도로 학습하는 것보다 더 나은 수렴성과 성능을 보이는가?
• RQ4 다중모달 융합 전략(연결 vs. 원소별 곱셈)은 악성 환경에서 탐색 성능에 어떤 영향을 미치는가?
• RQ5 가장 악성 조건에서 학습한 에이전트도 자연적인 비악성 음향 간섭 상황에서는 여전히 양호한 성능을 보일 수 있는가?

주요 결과

• SAAVN:P는 Replica의 P 환경에서 0.657 SPL과 13.2 R_mean을 기록했으며, AVN(0.609 SPL, 11.0 R_mean)을 초월했고, 미리 보지 않은 P 환경에서 0.041 SPL 향상을 기록했다.
• V 환경에서는 SAAVN:V가 0.648 SPL과 13.6 R_mean을 달성했으며, 미리 보지 않은 환경에서 AVN(0.549 SPL) 대비 0.103 SPL 향상을 기록했다.
• C 환경에서는 SAAVN:C가 0.609 SPL과 12.7 R_mean을 기록했고, AVN(0.576 SPL, 10.5 R_mean)을 상당히 앞서며, 미리 보지 않은 C 환경에서 0.033 SPL 향상을 기록했다.
• 가장 악성인 PVC 공격 설정에서 SAAVN:PVC는 PVC 환경에서 0.552 SPL과 10.6 R_mean을 기록했고, 미리 보지 않은 PVC 환경에서도 단지 0.004 SPL 감소에 그쳐 강건한 일반화 능력을 보였다.
• 다중모달 융합 전략으로 원소별 곱셈을 사용한 경우 연결 방식 대비 0.592 SPL 대 0.552 SPL, 11.8 R_mean 대 10.6 R_mean으로 성능이 뛰어났다.
• 사전 학습된 악성 환경에서의 에이전트(SAAVN)는 청소된 환경에서도 양호한 성능 유지를 보였고, AVN 에이전트는 복잡한 환경에서 성능이 크게 떨어졌다.