[논문 리뷰] Informative Dropout for Robust Representation Learning: A Shape-bias Perspective

Baifeng Shi, Dinghuai Zhang외 4명|arXiv (Cornell University)|2020. 08. 10.

Adversarial Robustness in Machine Learning인용 수 46

한 줄 요약

본 논문은 Informative Dropout(InfoDrop)을 도입합니다. 경량의 모델-독립적 방법으로 저정보 입력 영역을 드롭해 CNN의 텍스처 바이어스를 감소시키고, 도메인 일반화, 소샷 분류, 이미지 손상, 및 적대적 시나리오에서 로버스트성을 향상시킵니다.

ABSTRACT

Convolutional Neural Networks (CNNs) are known to rely more on local texture rather than global shape when making decisions. Recent work also indicates a close relationship between CNN's texture-bias and its robustness against distribution shift, adversarial perturbation, random corruption, etc. In this work, we attempt at improving various kinds of robustness universally by alleviating CNN's texture bias. With inspiration from the human visual system, we propose a light-weight model-agnostic method, namely Informative Dropout (InfoDrop), to improve interpretability and reduce texture bias. Specifically, we discriminate texture from shape based on local self-information in an image, and adopt a Dropout-like algorithm to decorrelate the model output from the local texture. Through extensive experiments, we observe enhanced robustness under various scenarios (domain generalization, few-shot classification, image corruption, and adversarial perturbation). To the best of our knowledge, this work is one of the earliest attempts to improve different kinds of robustness in a unified model, shedding new light on the relationship between shape-bias and robustness, also on new approaches to trustworthy machine learning algorithms. Code is available at https://github.com/bfshi/InfoDrop.

연구 동기 및 목표

• CNN의 텍스처 바이어스와 분포 변이, 손상, 적대적扰動에 대한 비강건성 사이의 연관성을 동기화하고 정량화한다.
• 텍스처-바이어스를 줄이고 형태-바이어스를 강화하기 위한 경량의 플러그인 메커니즘(InfoDrop)을 제안한다.
• InfoDrop이 적용될 때 보편적인 로버스트니스 향상을 시연하고, 다른 로버스트니스 기술과의 호환성을 보인다.

제안 방법

• 로컬 패치의 자기정보를 정의하고 이를 인접한 지역에서의 커널 밀도 추정으로 근사한다.
• 출력 활성화마다 드롭 확률을 Boltzmann 형태 r(z) ∝ exp(-I(p)/T)로 계산한다. 여기서 I는 자기정보이고 T는 온도 매개변수이다.
• 학습 시 드롭아웃과 유사한 과정을 적용해, 고정보 영역은 덜 자주 0으로 만들고 저정보 영역은 더 자주 0으로 하여 출력이 텍스처 유사 입력으로부터의 상관을 효과적으로 제거한다.
• 표준 합성 컨볼루션 순전파를 유지하면서 패치 정보 내용에 따라 확률적으로 출력을 마스킹한다.
• 추론 시 InfoDrop을 제거하고 필요시 테스트 시간에 의존하지 않는 형태-바이어스 emergent를 평가하기 위해 깨끗한 데이터로 미세조정(finetune)을 수행한다.

실험 결과

연구 질문

• RQ1 InfoDrop를 통해 국소 텍스처 바이어스를 감소시키면 CNN에서 더 형태-편향된 표현이 유도되는가?
• RQ2 InfoDrop가 도메인 시프트, 소샷 일반화, 무작위 손상, 적대적扰動에 대한 로버스트니스를 향상시킬 수 있는가?
• RQ3 InfoDrop가 기존의 로버스트니스 기술과 호환되며 다양한 아키텍처와 작업에서 유익한가?

주요 결과

• InfoDrop은 도메인 일반화, 소샷 분류, 무작위 손상에 대한 로버스트니스에서 베이스라인보다 일관되게 향상을 보인다.
• InfoDrop으로 학습된 모델은 형태-바이어스 특성을 보이며, 정성적 중요도 맵과 형태 정보에 대한 민감도에서 이를 확인할 수 있다.
• InfoDrop은 적대적 학습과 결합하여 로버스트니스를 추가로 향상시킬 수 있으며, 상대적으로 작은 오버헤드를 가진다.
• InfoDrop은 소스 도메인에서의 열화가 덜 발생하고 단일 소스 및 다중 소스 도메인 일반화 설정에서 타깃 도메인 성능을 향상시킨다.
• 특히 형태를 강조하는 작업(스케치와 같은 도메인) 및 도메인 간 전이 시나리오에서 개선 효과가 두드러진다.