[논문 리뷰] Decoupling "when to update" from "how to update"

Eran Malach, Shai Shalev‐Shwartz|arXiv (Cornell University)|2017. 06. 08.

Machine Learning and Algorithms참고 문헌 22인용 수 127

한 줄 요약

노이즈가 있는 라벨에 대한 강건성에 대한 메타 알고리즘을 제안하고, 노이즈 라벨 데이터를 사용하는 성별 분류 태스크에서 최첨단 결과를 보여준다.

ABSTRACT

Deep learning requires data. A useful approach to obtain data is to be creative and mine data from various sources, that were created for different purposes. Unfortunately, this approach often leads to noisy labels. In this paper, we propose a meta algorithm for tackling the noisy labels problem. The key idea is to decouple "when to update" from "how to update". We demonstrate the effectiveness of our algorithm by mining data for gender classification by combining the Labeled Faces in the Wild (LFW) face recognition dataset with a textual genderizing service, which leads to a noisy dataset. While our approach is very simple to implement, it leads to state-of-the-art results. We analyze some convergence properties of the proposed algorithm.

연구 동기 및 목표

• 감독 학습 딥러닝에서 노이즈 라벨 문제의 동기 부여와 견고한 데이터 라벨링 방법의 필요성.
• 업데이트의 시점을 업데이트 규칙으로부터 분리하기 위한 메타 알고리즘을 제안하여 라벨 노이즈를 완화한다.
• 퍼셉트론 기반 설정에서의 수렴 특성으로 이 접근법을 이론적으로 뒷받침한다.
• 실제 노이즈 라벨 데이터(성별 분류를 위한 LFW에서의 이름 기반 성별 서비스 사용)를 이용한 경험적 효과를 입증한다.
• 분포 의존적 수렴 및 선형 예측기를 넘어선 확장성의 한계와 가능성에 대해 논의한다.

제안 방법

• 같은 가설 클래스에서 두 예측기를 유지하는 메타 알고리즘을 소개한다.
• 두 예측기가 서로 다를 때만 업데이트를 수행한다(Update by Disagreement).
• disagreeing subset에 대해 적용된 표준 업데이트 규칙(예: 퍼셉트론 또는 모멘텀을 갖춘 SGD)을 기반으로 업데이트를 수행한다.
• Update by Disagreement 절차의 의사 코드 제공.
• 활동 학습 및 위원회에 의한 질의와의 관련성을 언급하되, 실용적 차이점(전체 버전 공간 유지 관리 없음)을 지적한다.
• 선형으로 분리 가능하고 노이즈 라벨 설정에서 퍼셉트론을 기본 학습기로 삼아 이론적으로 수렴을 분석한다.

실험 결과

연구 질문

• RQ1 Update by Disagreement 알고리즘이 라벨 노이즈 하에서 수렴하는가?
• RQ2 노이즈가 없는 퍼셉트론과 비교할 때 수렴 속도는 어떻게 다르며 어떤 가정 하에서 가능한가?
• RQ3 초기화가 수렴 품질과 최적성에 어떤 영향을 미치는가?
• RQ4 합성 설정을 넘는 실제 노이즈 라벨 데이터셋에서 이 접근법이 견고한 성능을 낼 수 있는가?
• RQ5 비선형 예측기 및 실제 데이터 분포에 대해 수렴 보장의 한계는 무엇인가?

주요 결과

• 알고리즘은 이론적 모델하에서 노이즈 없는 퍼셉트론의 업데이트 수에 상수 배로 수렴한다.
• 초기화가 중요하다; 동일한 초기 예측기는 업데이트를 발생시키지 않고, 무작위 초기화는 추가 가정 없이는 수렴이 최적이 아닐 수 있다.
• 특정 분포 하에서 선형적으로 분리 가능하더라도 추가 초기화 전략이 없으면 0 에러로 수렴하지 않을 수 있다.
• 노이즈가 있는 레이블로 구성된 LFW 기반 성별 분류에서 경쟁 방법들에 비해 최첨단 수준의 강건성을 보인다(다양한 노이즈 수준에서).
• 노이즈 적응 및 관련 방법(s-model 등)과 결합될 때, 특히 노이즈가 감소할수록 성능 향상을 달성할 수 있다.
• 제어된 실험은 높은 라벨 노이즈 비율(최대 40%)에 대한 회복력을 나타내며, 자연 데이터에서 좋은 수렴 특성을 시사한다.