[논문 리뷰] On Single Source Robustness in Deep Fusion Models

Taewan Kim, Joydeep Ghosh|arXiv (Cornell University)|2019. 06. 01.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 단일 입력 소스에서의 노이즈에 대해 딥 퓨전 모델의 강건성을 향상시키기 위한 두 가지 방법을 제안한다: 관련 최적화 알고리즘을 갖춘 전용 훈련 손실, 그리고 내재된 노이즈 내성 구조를 가진 신규 컨볼루션 퓨전 레이어. 두 방법 모두 깨끗한 데이터에서 성능을 떨어뜨리지 않으면서 3D 객체 탐지에서 강건성을 크게 향상시킨다.

ABSTRACT

Algorithms that fuse multiple input sources benefit from both complementary and shared information. Shared information may provide robustness against faulty or noisy inputs, which is indispensable for safety-critical applications like self-driving cars. We investigate learning fusion algorithms that are robust against noise added to a single source. We first demonstrate that robustness against single source noise is not guaranteed in a linear fusion model. Motivated by this discovery, two possible approaches are proposed to increase robustness: a carefully designed loss with corresponding training algorithms for deep fusion models, and a simple convolutional fusion layer that has a structural advantage in dealing with noise. Experimental results show that both training algorithms and our fusion layer make a deep fusion-based 3D object detector robust against noise applied to a single source, while preserving the original performance on clean data.

연구 동기 및 목표

• 선형 퓨전 모델이 단일 입력 소스에서 노이즈가 발생할 경우 내재적으로 강건성을 유지하는지 여부를 조사하는 것.
• 입력 스트림 중 하나가 노이즈에 의해 손상되었을 때 표준 퓨전 모델의 강건성 부족 문제를 해결하는 것.
• 깨끗한 데이터에서의 성능을 유지하면서 강건성을 향상시키는 훈련 방법과 아키텍처 구성 요소를 개발하는 것.
• 자율 주행과 같은 안전이 중요한 애플리케이션에서 제안된 방법의 효과성을 평가하는 것.

제안 방법

• 훈련 중 단일 소스 노이즈에 대한 강건성을 명시적으로 장려하는 맞춤형 손실 함수를 설계하는 것.
• 제안된 손실를 사용하여 노이즈 조건 하에서 퓨전 모델을 최적화하는 데 목적이 있는 관련 훈련 알고리즘을 개발하는 것.
• 단일 입력 소스에서의 노이즈 전파를 내재적으로 저지하는 구조적 설계를 가진 새로운 컨볼루션 퓨전 레이어를 도입하는 것.
• 3D 객체 탐지 벤치마크에서 제안된 손실/훈련 방법과 새로운 퓨전 레이어를 사용하여 딥 퓨전 모델을 훈련하고 평가하는 것.
• 청결한 입력 조건과 노이즈가 있는 입력 조건에서 표준 퓨전 베이스라인과의 성능을 비교하는 것.

실험 결과

연구 질문

• RQ1 단일 입력 소스가 노이즈에 의해 손상되었을 때 선형 퓨전 모델이 내재적으로 강건성을 유지하는가?
• RQ2 철저하게 설계된 훈련 손실이 단일 소스 노이즈 조건 하에서 딥 퓨전 모델의 강건성을 향상시킬 수 있는가?
• RQ3 구조적으로 설계된 컨볼루션 퓨전 레이어가 단일 소스 노이즈를 다루는 데 내재된 이점을 제공하는가?
• RQ4 제안된 방법들이 강건성을 향상시키는 동안 깨끗한 데이터에서의 성능을 어느 정도 유지하는가?

주요 결과

• 선형 퓨전 모델은 단일 입력 소스에서의 노이즈에 대해 내재적으로 강건성을 유지하지 못하며, 입력 손상에 취약함을 보였다.
• 제안된 훈련 손실과 관련 알고리즘이 단일 소스 노이즈 조건 하에서 딥 퓨전 모델의 강건성을 크게 향상시켰다.
• 새로운 컨볼루션 퓨전 레이어는 재훈련이 필요 없이도 노이즈 내성 향상에 구조적 이점을 제공하였다.
• 제안된 두 방법 모두 깨끗한 데이터에서의 원래 성능을 유지하면서 노이즈가 있는 단일 소스 입력 조건에서 강건성을 크게 향상시켰다.