[논문 리뷰] Drop-Bottleneck: Learning Discrete Compressed Representation for Noise-Robust Exploration

Jaekyeom Kim, Minjung Kim외 2명|arXiv (Cornell University)|2021. 03. 23.

Adversarial Robustness in Machine Learning참고 문헌 36인용 수 9

한 줄 요약

이 논문은 잡음에 강건한 표현 학습을 위한 결정론적이고 압축된 표현을 생성하기 위해 관련성이 없는 입력 특징을 이산적으로 제거하는 새로운 정보 볼팅(method)인 Drop-Bottleneck을 소개한다. 이 방법은 특징 추출과 선택을 동시에 학습하여, 잡음이 많고 보상이 희박한 강화학습 환경에서 최신 기술 수준의 성능을 달성하며, VIB보다 공격에 대한 내성을 높이고 차원 감소 성능도 뛰어나다.

ABSTRACT

We propose a novel information bottleneck (IB) method named Drop-Bottleneck, which discretely drops features that are irrelevant to the target variable. Drop-Bottleneck not only enjoys a simple and tractable compression objective but also additionally provides a deterministic compressed representation of the input variable, which is useful for inference tasks that require consistent representation. Moreover, it can jointly learn a feature extractor and select features considering each feature dimension's relevance to the target task, which is unattainable by most neural network-based IB methods. We propose an exploration method based on Drop-Bottleneck for reinforcement learning tasks. In a multitude of noisy and reward sparse maze navigation tasks in VizDoom (Kempka et al., 2016) and DMLab (Beattie et al., 2016), our exploration method achieves state-of-the-art performance. As a new IB framework, we demonstrate that Drop-Bottleneck outperforms Variational Information Bottleneck (VIB) (Alemi et al., 2017) in multiple aspects including adversarial robustness and dimensionality reduction.

연구 동기 및 목표

• 특히 보상이 희박하고 관측이 잡음이 많은 환경에서 과제에 관련이 없는 정보나 잡음이 많은 정보의 문제를 해결한다.
• 기존의 신경망 기반 정보 볼팅 방법은 일반적으로 확률적 표현을 생성하고 특징 선택과 압축을 별도로 처리하므로, 이러한 한계를 극복한다.
• 예측 성능을 유지하면서도 특징 차원을 감소시키는 실용적이고 결정론적인 압축 메커니즘을 개발한다.
• 압축된 표현을 활용하여 내재 보상(intrinsic reward)를 생성하는 잡음에 강건한 탐색 방법을 설계한다.
• 변동성 정보 볼팅(VIB) 및 특징 선택 기반 방법과 비교해, 이상치에 대한 강건성과 효과적인 차원 감소 성능을 입증한다.

제안 방법

• 목표 변수에 관련성이 없다고 판단되는 특징을 이산적으로 제거함으로써 입력 특징을 압축하며, 각 차원에 대해 학습 가능한 특징별 제거 확률을 사용한다.
• 특징 추출기와 미분 가능한 제거 확률 헤드를 함께 훈련시켜 특징 추출과 선택을 종합적으로 학습할 수 있도록 한다.
• 압축 목적함수는 압축된 표현과 목표 변수 간의 상관정보를 균형 잡는 트랙터블 최적화 문제로 공식화된다.
• 하드 임계값을 적용하여 제거 확률에 대해 결정론적 압축 표현을 유도함으로써 일관되고 안정적인 추론을 보장한다.
• 탐색 방법은 압축된 표현을 저장하는 에피소드 메모리를 사용하며, 메모리에서 새로운 관측치의 예측 가능성에 기반해 내재 보상을 계산한다.
• 프레임워크는 정보 볼팅 목적함수의 변분 근사로 훈련되며, 압축과 예측 간의 균형을 조절하는 하이퍼파rameter β가 존재한다.

실험 결과

연구 질문

• RQ1 확률적 방법(VIB 등)과 비교해 이산적 특징 제거가 더 안정적이고 결정론적인 압축 표현을 제공할 수 있는가?
• RQ2 특징 추출과 선택을 동시에 학습하는 것이 잡음이 많거나 보상이 희박한 강화학습 환경에서 성능 향상에 기여하는가?
• RQ3 Drop-Bottleneck은 VIB 및 전통적인 특징 선택 방법과 비교해 더 뛰어난 이상치에 대한 강건성을 확보할 수 있는가?
• RQ4 Drop-Bottleneck은 하위 작업에서 높은 성능를 유지하면서 특징 차원을 어느 정도 감소시킬 수 있는가?
• RQ5 일반화 능력과 강건성 측면에서 결정론적 압축 표현은 확률적 표현 또는 수작업으로 선택된 특징 표현과 비교해 어떤가?

주요 결과

• 잡음이 많고 보상이 희박한 조건에서 VizDoom 및 DMLab 내비게이션 작업에서 Drop-Bottleneck은 이전의 궁금증 기반 및 정보 볼팅 기반 탐색 방법을 모두 능가하는 최신 기술 수준의 성능를 달성한다.
• 단지 8개의 특징만을 사용할 때, Drop-Bottleneck(Deterministic)는 타겟된 ℓ∞ 공격에서 2.0%의 공격 성공률을 보였고, 상관정보 기반 특징 선택 방법은 85.5%의 공격 성공률을 보였다. 이는 훨씬 뛰어난 이상치에 대한 강건성을 입증한다.
• ImageNet에서는 단지 4개의 특징만으로도 Drop-Bottleneck는 71% 이상의 top-1 정확도를 유지하지만, 상관정보 기반 특징 선택 방법은 동일 조건에서 약 10%의 정확도로 급격히 떨어진다.
• Occluded CIFAR 데이터셋에서 Drop-Bottleneck의 결정론적 압축 표현은 원본 표현의 거의 전부의 예측 능력을 유지하며, 성능 저하가 최소한도로 발생한다.
• 탐색 파이프라인에서 Drop-Bottleneck을 VIB로 대체할 경우 성능 저하가 심각하게 발생함을 확인하여, 이 방법이 강건성 향상에 기여하는 고유한 기여를 한다는 것을 입증한다.
• 하이퍼파rameter β를 통해 차원 감소와 성능 간의 균형 조절이 가능하여, 다양한 추론 요구사항에 맞는 탄력적인 압축을 제공한다.