[논문 리뷰] What is the Effect of Importance Weighting in Deep Learning?

Jonathon Byrd, Zachary C. Lipton|arXiv (Cornell University)|2018. 12. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 113

한 줄 요약

본 논문은 중요도 가중치가 학습 초기의 심층 신경망에 상당한 영향을 미친다는 것을 보여주지만, 추가 학습이 진행될수록 그 영향이 약화되고, 규제와 배치 정규화가 부분적으로 이를 회복시킬 수 있는 반면 드롭아웃은 그렇지 않다.

ABSTRACT

Importance-weighted risk minimization is a key ingredient in many machine learning algorithms for causal inference, domain adaptation, class imbalance, and off-policy reinforcement learning. While the effect of importance weighting is well-characterized for low-capacity misspecified models, little is known about how it impacts over-parameterized, deep neural networks. This work is inspired by recent theoretical results showing that on (linearly) separable data, deep linear networks optimized by SGD learn weight-agnostic solutions, prompting us to ask, for realistic deep networks, for which many practical datasets are separable, what is the effect of importance weighting? We present the surprising finding that while importance weighting impacts models early in training, its effect diminishes over successive epochs. Moreover, while L2 regularization and batch normalization (but not dropout), restore some of the impact of importance weighting, they express the effect via (seemingly) the wrong abstraction: why should practitioners tweak the L2 regularization, and by how much, to produce the correct weighting effect? Our experiments confirm these findings across a range of architectures and datasets.

연구 동기 및 목표

• 현실적이고 과다 매개화된 설정에서 중요도 가중 리스크 최소화(IW-ERM)가 심층 신경망에 미치는 영향을 조사한다.
• IW-ERM 효과를 조절하는 조기 중단, 규제(L2, 드롭아웃), 배치 정규화의 역할을 검토한다.
• IW-ERM의 영향이 아키텍처, 데이터셋 및 작업(이미지 및 텍스트)에 걸쳐 지속되는지 평가한다.
• 인과 추론, 도메인 적응, 오프 폰시 학습 등 영역에서 중요도 가중치를 사용하는 실용적 지침을 제공한다.

제안 방법

• Soudry 등과 Gunasekar 등의 가중치 방향과 크기에 관한 이론적 결과를 바탕으로 분리 가능한 데이터에서 가중치-무관한 동작을 동기화한다.
• 가변 가중치 하에서 의사결정 경계를 시각화하기 위해 합성 2D 데이터셋에 대해 광범위한 실험을 수행한다.
• 배치 정규화, L2, 또는 드롭아웃 여부에 따라 CNN 및 ResNet 변형을 사용하여 CIFAR-10에서 이진 및 다중 클래스 설정으로 IW-ERM를 평가한다.
• 다양한 중요도 가중치 하에서 BERT 유사 모델을 미세조정하여 MRPC로 자연어를 테스트한다.
• 최적화 방법 간 연구 결과의 강건성을 평가하기 위해 SGD와 Adam 옵티마이저를 비교한다.

실험 결과

연구 질문

• RQ1 분리 가능한 데이터에서 SGD로 학습할 때 현대의 심층 네트워크의 결정 경계가 중요도 가중치에 의해 달라지는가?
• RQ2 정규화(L2, 드롭아웃)와 배치 정규화가 IW-ERM과 심층 네트워크에서 어떻게 상호작용하는가?
• RQ3 아키텍처와 데이터셋 전반에서 학습 에포크가 늘어나도 중요도 가중치의 영향이 지속되는가?
• RQ4 레이블 시프트를 심층 모델에서 의미 있게 보정할 수 있는가, 그리고 어떤 학습 조건에서 가능한가?
• RQ5 연구 결과가 아키텍처(MLP, CNN, ResNet, 트랜스포머 기반 모델)와 도메인(합성 데이터, 이미지, 텍스트) 전반에서 일관되는가?

주요 결과

• 중요도 가중치는 초기 학습 결과를 크게 바꾸지만, 연속된 학습 에포크가 진행될수록 그 효과는 약해진다.
• L2 규제와 배치 정규화가 일부 가중 효과를 회복시킬 수 있는 반면, 드롭아웃은 같은 상호작용을 보이지 않는다.
• 아키텍처, 작업 및 데이터세트에 걸쳐 학습이 진행됨에 따라 가중 방식이 달랐음에도 모델은 비슷한 해로 수렴한다.
• CIFAR-10에서 IW-ERM은 레이블 시프트 보정에 대해 초기 이점을 제공하지만 더 많은 에포크로 학습하면 그 이점이 사라진다.
• 강한 가중화에도 CIFAR-10과 MRPC에서 서로 다른 가중치 설정 간 테스트 라벨에 높은 일치를 보이며, 유사한 결정 경계를 시사한다.
• 가중화는 수렴을 느리게 할 수 있으며 일부 네트워크에서 효과를 안정화시키려면 일반적인 미세 조정보다 훨씬 많은 에포크가 필요할 수 있다.