[논문 리뷰] Derivative Manipulation for General Example Weighting

Xinshao Wang, Elyor Kodirov외 2명|arXiv (Cornell University)|2019. 05. 27.

Industrial Vision Systems and Defect Detection참고 문헌 66인용 수 8

한 줄 요약

이 논문은 레이블 노이즈와 데이터 불균형 상황에서 유연하고 강건한 예측 예측 가중치를 만들기 위해 기울기 도수를 직접 수정하는 새로운 프레임워크인 도함수 조작(Derivative Manipulation, DM)을 제안한다. 정규화된 도함수 크기를 바탕으로 강조 밀도 함수를 정의함으로써, DM은 기존의 손실 함수와 가중치 함수를 통합하고 대체하며, 최소한의 복잡성으로도 비전 및 NLP 작업 전반에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Real-world large-scale datasets usually contain noisy labels and are imbalanced. Therefore, we propose derivative manipulation (DM), a novel and general example weighting approach for training robust deep models under these adverse conditions. DM has two main merits. First, loss function and example weighting are common techniques in the literature. DM reveals their connection (a loss function does example weighting) and is a replacement of both. Second, despite that a loss defines an example weighting scheme by its derivative, in the loss design, we need to consider whether it is differentiable. Instead, DM is more flexible by directly modifying the derivative so that a loss can be a non-elementary format too. Technically, DM defines an emphasis density function by a derivative magnitude function. DM is generic in that diverse weighting schemes can be derived. Extensive experiments on both vision and language tasks prove DM's effectiveness.

연구 동기 및 목표

• 대규모 딥러닝에서 레이블 노이즈와 데이터 불균형을 다루는 데 있어 기존의 손실 함수 및 예측 가중치 방법의 한계를 해결하기 위해.
• 손실 함수의 역할을 재정의하여, 그 도함수를 통해 암묵적으로 예측 가중치를 수행한다는 점을 보여주기 위해.
• 손실 함수 설계를 회피하고 기울기 도함수를 직접 조작함으로써, 통합적이고 민첩한 프레임워크를 개발하기 위해.
• 정규화된 도함수 크기 함수를 통해 예측 가중치의 강조 모드와 분산을 직접 제어할 수 있도록 하기 위해.
• 특수한 노이즈 추정이 필요하지 않은 채로 다양한 작업, 아키텍처, 최적화 방법에 대해 DM의 효과성을 입증하기 위해.

제안 방법

• 로그릿에 대한 기울기(도함수)의 크기를 정규화하여 예측 수준의 가중치를 직접 코딩하는 강조 밀도 함수(Emphasis Density Function, EDF)를 정의한다.
• 도함수 크기의 비선형 변환을 사용하여 강조 분산을 제어함으로써, 쉬운 예시, 어려운 예시 또는 반하드 예시에 집중할 수 있도록 한다.
• 기존의 손실 함수와 별도의 가중치 방식을 대체하기 위해 도함수를 직접 설계함으로써, 미분 가능성 유도의 필요성을 제거한다.
• 모든 예시에 대한 총 강조량이 1이 되도록 보장하기 위해 기울기 정규화(DN)를 적용함으로써 학습 안정성을 유지한다.
• 원하는 강조 특성을 가진 EDF를 설계하기 위해 기존의 확률 밀도 함수(PDF)를 템플릿으로 활용한다.
• 표준 학습 파이프라인에 DM을 통합하기 위해 손실 기울기를 조작된 도함수로 대체함으로써 즉시 사용이 가능한 플러그 앤 플레이 방식을 구현한다.

실험 결과

연구 질문

• RQ1 기울기 도함수를 사용하여 딥러닝에서 손실 함수와 예측 가중치 방식을 통합적으로 대체할 수 있는가?
• RQ2 기울기 크기의 직접 조작이 기존의 손실 설계 방식에 비해 레이블 노이즈와 클래스 불균형에 대해 강건성을 향상시키는 방식은 어떻게 되는가?
• RQ3 특수 작업용 하이퍼파라미터 조정 없이도 DM이 다양한 작업, 아키텍처, 최적화 방법에 대해 얼마나 일반화되는가?
• RQ4 실제 레이블 노이즈 상황에서 복잡한 노이즈 추정 또는 다목적 최적화에 의존하는 최신 기술 수준의 방법보다 DM이 승리할 수 있는가?
• RQ5 EDF의 강조 모드와 분산이 다양한 학습 시나리오에서 모델 성능에 어떻게 영향을 미치는가?

주요 결과

• 실제의 무지성 레이블 노이즈가 존재하는 Clothing1M 데이터셋에서, DM은 73.3%의 정확도를 기록하여 Joint Optimization(72.2%) 및 S-adaptation(70.3%)을 모두 초월한다.
• MARS 데이터셋에서의 영상 검색 작업에서, DM은 시간 모델링을 사용하지 않았음에도 불구하고 84.3%의 CMC-1 및 72.8%의 mAP를 달성하여 OSM+CAA(84.7% CMC-1, 72.4% mAP)를 뛰어넘는다.
• IMDB 감성 분류 작업에서, PV-DBOW와 단일 8뉴런 히든 레이어를 사용한 DM은 CCE 및 MAE와 같은 표준 손실 함수에 비해 뛰어난 성능을 보였다.
• SGD 및 Adam 최적화 방법, ResNet-56 및 GoogLeNet V2 아키텍처를 포함한 다양한 최적화 방법과 아키텍처에서 DM은 일관된 슈퍼리어리티를 유지하며 광범위한 호환성을 보였다.
• Forward, Masking, Joint Optimization와 같은 방법에서 요구하는 무거운 노이즈 전이 행렬 추정 과정을 제거함으로써, 더 단순하면서도 더 효과적인 대안을 제공한다.
• 제거 실험을 통해 DM의 성능가 강점이 다양한 강조 모드와 분산에 대해 강건함을 확인하였으며, 정규화(DN) 없이 적용하더라도 정확도에 유의미한 하락이 없음을 입증하였다.