[논문 리뷰] Deep Ordinal Regression using Optimal Transport Loss and Unimodal Output Probabilities

Uri Shaham, Igal Zaidman외 1명|arXiv (Cornell University)|2020. 11. 15.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 최적화 운반 손실(optimal transport loss)를 사용하여 최대가능도 대신 훈련하고, 새로운 아키텍처 설계를 통해 출력 확률이 단모양(unimodal)이 되도록 강제하는 딥 오더링 회귀 프레임워크를 제안한다. 이 방법은 여덟 개인 실제 데이터셋에서 최신 기준 성능을 달성하면서도 예측의 단모양성과 기존 방법들에 비해 모델의 과신뢰도를 감소시킨다.

ABSTRACT

It is often desired that ordinal regression models yield unimodal predictions. However, in many recent works this characteristic is either absent, or implemented using soft targets, which do not guarantee unimodal outputs at inference. In addition, we argue that the standard maximum likelihood objective is not suitable for ordinal regression problems, and that optimal transport is better suited for this task, as it naturally captures the order of the classes. In this work, we propose a framework for deep ordinal regression, based on unimodal output distribution and optimal transport loss. Inspired by the well-known Proportional Odds model, we propose to modify its design by using an architectural mechanism which guarantees that the model output distribution will be unimodal. We empirically analyze the different components of our proposed approach and demonstrate their contribution to the performance of the model. Experimental results on eight real-world datasets demonstrate that our proposed approach consistently performs on par with and often better than several recently proposed deep learning approaches for deep ordinal regression with unimodal output probabilities, while having guarantee on the output unimodality. In addition, we demonstrate that proposed approach is less overconfident than current baselines.

연구 동기 및 목표

• 딥 오더링 회귀 모델에서 보장되는 단모양 출력 확률의 부족 문제를 해결함으로써, 실세계 응용에서의 해석 가능성에 기여하고자 한다.
• 최대가능도 훈련을 최적화 운반 손실로 대체함으로써, 순서가 있는 클래스 간 관계를 보다 잘 반영하고, 순서 기반으로 잘못 예측한 경우에 비용을 부과함으로써 순서의 성격을 더 잘 포착하고자 한다.
• 소프트 타겟이나 후처리에 의존하지 않고도 내재적으로 단모양 확률 분포를 생성하는 신경망 아키텍처를 설계하고자 한다.
• 단모양 출력과 최적화 운반 손실이 함께 작용할 때 성능 향상과 과신뢰도 감소가 실제로 발생하는지 경험적으로 검증하고자 한다.
• 다양한 벤치마크 데이터셋에서 최근의 딥 오더링 회귀 방법들과 비교하여 일관된 우수성을 입증하고자 한다.

제안 방법

• 로그릿(logit)이 학습된 위치 파라미터와 단조 감쇠 메커니즘을 통해 단모양 출력 분포를 강제하도록 설계된 수정된 비례 오즈 모델 아키텍처를 사용한다.
• 출력 레이어는 구성상 단모양이 보장되는 순서 클래스에 대한 확률 분포를 생성하며, 이는 확률이 단일 클래스에서 최고조로 나타나고 양방향으로 단조 감소함을 보장한다.
• 훈련 목적으로 최적화 운반 손실을 사용하며, 이는 예측 분포에서 진짜 레이블(디랙 델타)으로 질량을 이동시키는 데 드는 비용을 측정하고, 순서에 민감하며 미분 가능하다.
• 진짜 레이블이 디랙 델타인 경우 최적화 운반 손실은 닫힌 형태로 계산될 수 있어 효율적인 역전파와 엔드 투 엔드 훈련이 가능하다.
• 모든 경우에 소프트 타겟을 완전히 회피함. 단모양성은 정규화나 레이블 스무딩이 아닌 아키텍처에 의해 강제된다.
• 모든 모델은 동일한 데이터 증강, 백본 CNN, 훈련 프로토콜을 사용하여 동등한 비교를 보장한다.

실험 결과

연구 질문

• RQ1 아키텍처 설계를 통해 단모양 출력 확률를 강제하는 것이 소프트 타겟 기반 방법에 비해 딥 오더링 회귀에서 더 나은 일반화 성능을 이끌어내는가?
• RQ2 최적화 운반 손실이 최대가능도에 비해 순서의 성격을 더 잘 포착함으로써 오더링 회귀 성능 향상에 기여하는가?
• RQ3 기존의 딥 오더링 회귀 모델에 비해 제안된 방법이 잘못된 예측에서 특히 모델의 과신뢰도를 감소시키는가?
• RQ4 단모양 아키텍처와 최적화 운반 손실의 조합이 다양한 실제 오더링 회귀 벤치마크에서 어떻게 작용하는가?
• RQ5 MAE, 정확도, 상관계수 지표에서 제안된 방법이 최신 기준 방법들과 일관되게 뛰어나거나 비슷한 성능을 보이는가?

주요 결과

• 제안된 방법은 여덟 개의 모든 벤치마크 데이터셋에서 최신 기준 또는 경쟁 가능한 성능을 달성했으며, 평균 스피어만 상관계수 0.95와 QWK 1.01을 기록했다.
• 여덟 데이터셋 중 여섯 개에서 제안된 방법은 모든 베이스라인보다 과신뢰도가 낮았으며, 잘못된 예측에서의 엔트로피 비율이 더 높다는 측정 기준으로 확인되었다.
• 단지 제안된 방법과 [1]만 보장된 단모양 출력을 생성했고, 나머지 모든 베이스라인은 소프트 타겟을 사용해 예측의 상당 부분에서 단모양성을 유지하지 못했다.
• DLDL, SORD, [18], [13]에 비해 모든 데이터셋에서 MAE와 OOA에서 성능이 뛰어났으며, 한 개를 제외한 나머지 데이터셋에서 통계적으로 유의미한 향상이 있었다.
• 제거 실험(ablation study) 결과, 단모양 아키텍처와 최적화 운반 손실 둘 다 성능 향상에 기여하였으며, 각각 독립적으로 성능 향상을 이끌어냈다.
• 모델은 WIKI 데이터셋에서 테스트 정확도 0.69 ± 0.01, Retina-MNIST에서 0.95 ± 0.01을 기록했으며, 두 지표에서 모두 모든 베이스라인을 능가했다.