[논문 리뷰] Learning Robust Global Representations by Penalizing Local Predictive Power

Haohan Wang, Songwei Ge외 2명|arXiv (Cornell University)|2019. 05. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 59인용 수 278

한 줄 요약

이 논문은 Patch-wise Adversarial Regularization(PAR)을 도입하여 초기 CNN 계층의 로컬(패치 수준) 예측 신호를 억제하고, 대상 도메인 데이터 없이도 도메인 시프트에서 일반화가 더 잘 되는 글로벌 표현 학습을 모델이 학습하도록 유도합니다.

ABSTRACT

Despite their renowned predictive power on i.i.d. data, convolutional neural networks are known to rely more on high-frequency patterns that humans deem superficial than on low-frequency patterns that agree better with intuitions about what constitutes category membership. This paper proposes a method for training robust convolutional networks by penalizing the predictive power of the local representations learned by earlier layers. Intuitively, our networks are forced to discard predictive signals such as color and texture that can be gleaned from local receptive fields and to rely instead on the global structures of the image. Across a battery of synthetic and benchmark domain adaptation tasks, our method confers improved generalization out of the domain. Also, to evaluate cross-domain transfer, we introduce ImageNet-Sketch, a new dataset consisting of sketch-like images, that matches the ImageNet classification validation set in categories and scale.

연구 동기 및 목표

• 글로벌 단서를 활용한 강건한 이미지 분류를 촉진하여 Out-of-Domain 일반화를 향상시키려는 동기 부여.
• 초기 층의 로컬 예측력을 페널티화하되 최종 층의 정확도는 보존하는 학습 objective를 제안.
• 합성 및 실세계 도메인 적응/일반화 작업 전반에 걸쳐 방법의 실용적 변형 및 학습 휴리스틱을 탐구.
• 스케일이 큰 Out-of-Domain 벤치마크인 ImageNet-Sketch를 도입하여 스케치 유사 이미지에서의 강건성 평가를 제시합니다.

제안 방법

• 각 공간 위치에서 로컬 특징 g(X;δ)으로 작동하는 패치별 분류기 h를 정의합니다.
• 각 위치별로 로컬 패치 표현으로 y를 예측하도록 h를 학습시키고, 동시에 g가 이러한 예측을 방해하도록 하는 로컬 예측력을 페널티하는 미니맥스 정규화(Eq. 2)를 형식화합니다.
• PAR 목표를 표준 손실과 결합: δ,θ에 대해 E[l(f(g(X;δ);θ),y)] − (λ/m′n′) Σ l(h(g(X;δ)_{i,j};φ),y) 를 최소화하고, 로컬 예측 손실은 φ에 대해 최소화합니다.
• 효율성을 위해 h를 1×1 합성곱으로 구현(위치 간 공유); 변형으로는 더 강한 로컬 분류기(PAR M), 더 큰 패치(PAR B), 그리고 더 높은 층의 정규화(PAR H)가 있습니다.
• 선택적으로 학습 휴리스틱을 적용합니다: 전통적으로 예비 학습한 뒤 PAR로 미세조정합니다.
• 도메인-적대(Domain-Adversarial) 및 다른 도메인 일반화 방법과 비교하기 위한 확장 및 실용적 학습 세부 정보를 제시합니다.

실험 결과

연구 질문

• RQ1 로컬 예측력을 초기 층에서 억제하는 것이 대상 도메인 데이터 없이도 도메인 시프트에 대한 견고성을 향상시키나요?
• RQ2 PAR은 다양한 교란 및 데이터셷 시프트에서 기존의 도메인 적응/일반화 방법과 어떻게 비교되나요?
• RQ3 다양한 PAR 변형(베닐라, MLP 판별기, 더 큰 패치, 더 높은 층 정규화)이 도메인 내(in-domain) 대 도메인 밖(out-of-domain) 성능에 미치는 영향은 무엇인가요?
• RQ4 ImageNet-Sketch와 같은 대규모 스케치 기반 Out-of-Domain 벤치마크가 PAR의 강건성 이점을 표준 벤치마크 이상으로 드러내나요?

주요 결과

Method	Greyscale	NegColor	RandKernel	RadialKernel	Average
ResNet	87.7	62.8	43.0	62.4	63.9
DANN	87.3	64.3	33.4	63.3	62.0
InfoDrop	86.4	57.6	41.3	60.3	61.4
HEX	87.6	62.4	42.5	61.9	63.6
PAR	88.1	66.2	47.0	63.8	66.3
PAR B	87.9	65.3	40.5	63.2	64.2
PAR M	87.8	67.6	47.5	63.2	66.5
PAR H	86.9	62.7	40.8	61.4	62.9

• PAR 및 그 변형은 MNIST 교란, CIFAR-10 교란, 및 PACS 전반에서 Out-of-Domain/일반화 성능을 향상시키며, 종종 DANN, HEX, InfoDrop 베이스라인보다 우수합니다.
• PAR은 색상/로컬 신호가 전이되지 않는 Sketch 도메인에서 PACS의 강점을 강조합니다.
• CIFAR-10 교란에서 PAR은 그레이스케일, 음색 부정, 무작위 커널, 방사형 커널 교란에서 최상위 혹은 거의 최상위 정확도를 보여주며, PAR M/B/H 변형은 교란마다 다르게 수행됩니다.
• ImageNet-Sketch 실험에서 PAR은 스케치 유사 이미지에서 AlexNet 대비 Top-1/Top-5 정확도를 다소 향상시키며 교차 도메인 일반화를 개선합니다.
• 일부 도메인 내 설정에서 로컬 패턴이 실제로 예측에 유의하게 기여하는 경우에는 PAR이 도메인 내 성능을 약간 저하시킬 수 있지만, 전반적으로 Vanilla PAR은 대부분의 시나리오에서 견고한 개선을 제공합니다.