[논문 리뷰] Understanding the role of importance weighting for deep learning

Da Xu, Yuting Ye외 1명|arXiv (Cornell University)|2021. 03. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 14

한 줄 요약

이 논문은 딥러닝에서 중요도 가중치의 이론적 분석을 제공하며, 경사하강법 하에서 일반화에 미치는 영향이 최대 마진 해법으로의 암묵적 편향으로 인해 감소함을 보여준다. 중요도 가중치, 분포 간 산란, 모델 복잡도를 포함하는 일반화 경계를 수립하여, 데이터 분리를 달성한 후 중요도 가중치가 효과를 잃는 이유를 설명한다.

ABSTRACT

The recent paper by Byrd & Lipton (2019), based on empirical observations, raises a major concern on the impact of importance weighting for the over-parameterized deep learning models. They observe that as long as the model can separate the training data, the impact of importance weighting diminishes as the training proceeds. Nevertheless, there lacks a rigorous characterization of this phenomenon. In this paper, we provide formal characterizations and theoretical justifications on the role of importance weighting with respect to the implicit bias of gradient descent and margin-based learning theory. We reveal both the optimization dynamics and generalization performance under deep learning models. Our work not only explains the various novel phenomenons observed for importance weighting in deep learning, but also extends to the studies where the weights are being optimized as part of the model, which applies to a number of topics under active research.

연구 동기 및 목표

• 과도하게 파arameter화된 딥러닝 모델에서 중요도 가중치의 역할을 엄밀하게 규명하는 것.
• 학습 데이터를 분리할 수 있을 때 중요도 가중치의 효과가 상실되는 경험적 관찰을 설명하는 것.
• 중요도 가중치, 최적화 동역학, 일반화 성능 간의 상호작용을 체계화하는 것.
• 중요도 가중치를 모델과 함께 공동으로 학습하는 설정으로 이론적 이해를 확장하는 것.
• 가중치 학습 하에서 경험적 리스크와 분포 간 산란을 모두 고려한 일반화 경계를 제공하는 것.

제안 방법

• 중요도 가중치를 적용한 선형 모델에서 경사하강법 최적화 동역학의 이론적 분석.
• 중요도 가중치, 모델 복잡도, 소스 및 타겟 분포 간 KL 발산에 의존하는 일반화 경계 유도.
• 중요도 가중치가 일반화에 미치는 영향을 측정하기 위해 가중치 레데마처 복잡도의 사용.
• 가중치 경험적 리스크의 편차를 제어하기 위해 서브가우시안 농도와 유계 차이 부등식의 적용.
• 가중치 경험적 리스크 최소화에 대해 마진 기반 일반화 이론의 적응.
• 가중치 ERM 하에서의 암묵적 편향을 체계화하여, 재가중 조정에도 불구하고 최대 마진 해법으로 수렴함을 보여줌.

실험 결과

연구 질문

• RQ1 중요도 가중치는 과도하게 파arameter화된 딥뉴럴넷에서 경사하강법의 암묵적 편향에 어떻게 영향을 미치는가?
• RQ2 왜 데이터 분리가 달성된 후 중요도 가중치의 영향력이 상실되는가?
• RQ3 중요도 가중치, 일반화 오차, 분포 이탈 간 이론적 관계는 무엇인가?
• RQ4 중요도 가중치를 모델과 함께 공동 최적화할 경우 학습 동역학과 일반화에 어떤 영향을 미치는가?
• RQ5 가중치 경험적 리스크와 소스 및 타겟 분포 간 산란을 모두 반영한 일반화 경계를 도출할 수 있는가?

주요 결과

• 데이터가 선형적으로 분리 가능하고 경사하강법을 사용할 경우, 최대 마진 해법으로의 암묵적 편향으로 인해 중요도 가중치는 최종 모델에 미미한 영향을 미친다.
• 유도된 일반화 경계는 가중치 경험적 리스크, 모델 복잡도, 소스 및 타겟 분포 간 KL 발산에 의존한다.
• 가중치 레데마처 복잡도가 분포 산란의 제곱근 비례로 증가함을 보여주며, 이는 분포 이탈과 일반화 오차를 연결한다.
• 약한 정규화 하에서 비선형 네트워크의 경우에도 정규화된 마진은 여전히 최대 마진 해법으로 수렴한다.
• 어려운 분류 대상(예: 마진 근접도)의 역수 비례로 중요도 가중치를 설정할 경우 성능 향상이 이루어지므로, 이는 체계적인 설계 전략을 시사한다.
• 중요도 가중치가 모델의 신뢰도 또는 마진과 강하게 상관관계를 가지게 되면, 공동 학습 시 그 영향력은 감소한다.