[논문 리뷰] Training Deep Neural Networks via Direct Loss Minimization

Yang Song, Alexander G. Schwing외 2명|arXiv (Cornell University)|2015. 11. 19.

Advanced Neural Network Applications참고 문헌 16인용 수 31

한 줄 요약

이 논문은 평균 정밀도(AP)와 같이 일반적으로 기울기 기반 방법에 적합하지 않은 애플리케이션 특화 비미분 가능 손실 함수를 최적화함으로써 딥 네ural 네트워크를 훈련시키는 직접 손실 최소화 프레임워크를 제안한다. 이 방법은 McAllester 등(2010)의 이론을 비선형 모델로 확장하여, 비선형 모델에 대한 기울기 계산을 위한 새로운 동적 프ogram밍 알고리즘을 도입함으로써, 표면적 손실 기반 기준보다 우수한 엔드 투 엔드 훈련을 가능하게 하며, 특히 행동 분류 및 객체 검출 작업에서 레이블 노이즈가 존재할 경우에 유의미한 성능 향상을 보인다.

ABSTRACT

Supervised training of deep neural nets typically relies on minimizing cross-entropy. However, in many domains, we are interested in performing well on metrics specific to the application. In this paper we propose a direct loss minimization approach to train deep neural networks, which provably minimizes the application-specific loss function. This is often non-trivial, since these functions are neither smooth nor decomposable and thus are not amenable to optimization with standard gradient-based methods. We demonstrate the effectiveness of our approach in the context of maximizing average precision for ranking problems. Towards this goal, we develop a novel dynamic programming algorithm that can efficiently compute the weight updates. Our approach proves superior to a variety of baselines in the context of action classification and object detection, especially in the presence of label noise.

연구 동기 및 목표

• 표준 딥 러닝 훈련이 교차 엔트로피와 같은 미분 가능한 표면적 손실에 의존하는 한계를 해결하고, 평균 정밀도(AP)와 같은 애플리케이션 특화 지표와 일치하지 않는 표면적 손실에 의존하지 않는 방법을 개발한다.
• 랭킹 및 구조적 예측에서 흔히 나타나는 비연속적이고 분해 불가능한 손실 함수를 직접 최소화하기 위해, 비선형 모델로까지 이론적 기울기 계산을 확장하는 방법을 개발한다.
• 진정한 작업 손실을 사용하여 딥 네ural 네트워크의 엔드 투 엔드 훈련을 가능하게 하여, 실제 응용에서의 레이블 노이즈에 대한 강건성을 향상시킨다.
• 행동 분류 및 객체 검출과 같이 복잡한 실제 작업에서 직접 손실 최소화의 효과를 입증하며, 표면적 손실이 노이즈가 있는 감독 하에서 실패하는 상황에서의 성능을 향상시킨다.

제안 방법

• 비선형 딥 네ural 네트워크로 확장하기 위해, McAllester 등(2010)의 선형 모델에 대한 기울기 계산 이론을 비선형 모델에 적용하여, 네트워크 파라미터에 대한 비미분 가능 작업 손실의 기울기를 유도한다.
• 비미분 가능 손실 함수(예: AP)의 기울기를 효율적으로 계산하기 위해 새로운 동적 프로그래밍 알고리즘을 도입하여, 손실의 비연속성과 분해 불가능성 문제를 해결한다.
• 온도 제어된 소프트맥스를 통해 비미분 가능 손실 함수의 미분 가능한 근사치를 사용함으로써, 백프로파게이션를 유지하면서도 원래 지표의 구조를 유지한다.
• 계산된 기울기를 스트로스틱 최적화에 적용하여 기대 작업 손실을 최소화함으로써, 랭킹 및 검출 작업에서 AP와 같은 지표를 직접 최적화한다.
• 객체 검출에서 전체 배치 AP 계산이 고밀도 바운딩 박스로 인해 비현실적이므로, 배치 기반 AP의 근사치를 사용하여 훈련 가능성을 확보한다.
• 모델 점수와 작업 손실을 조합한 수정된 스코어 함수를 사용하여 최적화가 실제 응용 지표를 최소화하는 방향으로 유도된다.

실험 결과

연구 질문

• RQ1 비미분 가능하고 분해 불가능한 손실 함수(예: 평균 정밀도)를 딥 네ural 네트워크에서 직접 최소화할 수 있는가? 표면적 손실을 우회할 수 있는가?
• RQ2 비연속적이고 이산적인 손실 함수의 기울기를 비선형 모델의 네트워크 파라미터에 대해 어떻게 계산할 수 있는가?
• RQ3 애플리케이션 특화 손실(예: AP)을 직접 최적화하면, 특히 레이블 노이즈가 존재할 경우 표면적 손실 훈련보다 더 우수한 일반화 성능을 달성할 수 있는가?
• RQ4 제안된 동적 프로그래밍 기반 기울기 계산 방법은 객체 검출과 같이 수천 개의 바운딩 박스를 포함하는 대규모 시각 작업에 효율적으로 스케일링될 수 있는가?
• RQ5 직접 손실 최소화는 구조적 서포트 벡터 머신(SVM)과 교차 엔트로피 훈련에 비해 성능 및 노이즈 레이블에 대한 강건성 측면에서 어떻게 비교되는가?

주요 결과

• 행동 분류에서 제안된 직접 손실 최소화 방법은 교차 엔트로피 기반 기준(45.6%)과 힌지-AP 기준(47.6%)보다 우수한 평균 AP 48.5%를 달성하며, 청소된 레이블 조건에서 성능을 뛰어나게 한다.
• 20% 레이블 노이즈가 존재하는 객체 검출에서, 직접 AP 최소화(pos-AP)는 평균 AP 40.3%를 기록하며, 힌지-AP 기준이 완전히 실패한(0.0% 평균 AP) 것과 대비하여 뚜렷한 성능 향상을 보인다.
• pos-AP 방법은 노이즈 조건에서도 강력한 성능 유지를 보이며, 청소된 환경에서의 평균 AP가 10.2% 감소하는 데 그치지만, 힌지-AP는 동일한 노이즈 조건에서 완전히 붕괴된다.
• 이 방법은 레이블 노이즈에 대해 뛰어난 강건성을 보이며, 객체 검출에서 pos-AP는 청소된 레이블 성능의 85.5%를 유지하는 반면, 힌지-AP는 단 0%에 그친다.
• 동적 프로그래밍 알고리즘은 분해 불가능한 손실에 대해 효율적인 기울기 계산을 가능하게 하여, 딥 네트워크에서 AP의 직접 최적화를 실현 가능하게 한다.
• 행동 분류 작업에서 직접 손실 방법은 가장 강력한 기준인 힌지-AP보다 0.9점 높은 평균 AP 48.5%를 달성하며, 지표 최적화 훈련에서 일관된 성능 향상을 입증한다.