[논문 리뷰] Unimodal probability distributions for deep ordinal classification

Christopher Beckham, Christopher Pal|arXiv (Cornell University)|2017. 05. 15.

Explainable Artificial Intelligence (XAI)참고 문헌 12인용 수 14

한 줄 요약

이 논문은 깊이 있는 순서 분류에서 확률 분포가 단일 모드가 되도록 보장하기 위해 포아송 및 이항 분포를 사용하여 모델의 해석 가능성과 성능을 햖थ다. 예측값이 단일 클래스에서 최고조화를 이루고 양쪽으로 단조롭게 감소하도록 제약를 걸어, 두 개의 대규모 이미지 데이터셋에서 경쟁력 있거나 더 뛰어난 성능을 달성하였으며, 특히 top-k 정확도와 평형 가중 텀코프(Quadratic Weighted Kappa, QWK)에서 뛰어난 성능을 보였다. 이중 이항 분포가 포아송 분포를 능가했고, 지구 이동 거리(EMD) 손실과 조합할 경우 성능 향상이 있었다.

ABSTRACT

Probability distributions produced by the cross-entropy loss for ordinal classification problems can possess undesired properties. We propose a straightforward technique to constrain discrete ordinal probability distributions to be unimodal via the use of the Poisson and binomial probability distributions. We evaluate this approach in the context of deep learning on two large ordinal image datasets, obtaining promising results.

연구 동기 및 목표

• 표준 크로스 엔트로피 손실이 동일한 손실 값에도 불구하고 다중 모드일 수 있고 직관적이지 않은 확률 분포를 생성하는 문제를 해결하기 위해.
• 클래스의 자연스러운 순서를 반영하는 단일 모드 분포를 강제하여 순서 분류에서 모델의 행동을 향상시키기 위해.
• 딥 러닝에서 포아송 및 이항 분포를 통해 단일 모드 분포를 모델링할 때 더 납득 가능하고 효과적인 확률 예측이 이루어지는지 평가하기 위해.
• 대규모 순서 분류 이미지 데이터셋에서 표준 크로스 엔트로피 및 EMD 손실과 비교하여 단일 모드 형식의 성능을 평가하기 위해.
• 단일 모드 제약이 특히 top-k 정확도 지표에 유리한 정규화의 형태로 작용하는지 조사하기 위해.

제안 방법

• 포아송 및 이항 분포의 확률 질량 함수(PMF)를 사용하여 순서 클래스에 대한 예측 확률 분포를 매개변수화함.
• 예측 분포가 중심 클래스에서 최고조화를 이루하고 양쪽으로 단조롭게 감소하도록 단일 모드 제약을 부여함.
• 포아송 분포의 분산을 제어하기 위해 학습 가능한 온도 매개변수 τ를 도입하여 고-K 설정에서 발생하는 문제를 완화함.
• 클래스 순서와 거리를 고려하는 EMD 손실을 기준 비교로 사용함.
• 크로스 엔트로피 또는 EMD 손실을 사용하여 단일 모드 분포 매개변수화를 적용한 딥 신경망을 훈련함.
• 예측 분포의 위치와 산포를 제어하는 평균 값 τ를 학습함으로써 훈련을 안정화시키기 위해 기대값 기법을 활용함.

실험 결과

연구 질문

• RQ1 단일 모드 확률 분포를 강제하면 딥 순서 분류에서 예측의 품질과 해석 가능성에 개선이 이루어지는가?
• RQ2 딥 러닝에서 순서 분류 예측을 모델링할 때 포아송 분포와 이항 분포는 어떤 정도로 단일 모드를 잘 표현하는가?
• RQ3 표준 크로스 엔트로피에 비해 단일 모드 제약이 top-k 정확도와 QWK에서 더 뛰어난 성능을 내는가?
• RQ4 단일 모드 제약이 지구 이동 거리(EMD) 손실과 조합되었을 때 더 효과적인가?
• RQ5 높은 카디널리티 순서 문제(예: 많은 연령 클래스)에서는 포아송 분포의 분산이 성능을 떨어뜨릴 수 있으며, 온도 스케일링이 이를 완화할 수 있는가?

주요 결과

• 이중 Adience 및 당뇨성 망막병변 데이터셋에서 이항 분포가 포아송 분포보다 QWK와 top-k 정확도 모두에서 일관되게 뛰어난 성능을 보였다.
• 가장 성능이 열악한 설정(τ=1인 포아송)조차도 Adience 데이터셋에서 크로스 엔트로피 기준보다 더 높은 top-3 정확도를 달성했다.
• EMD 손실은 포아송 분포와 조합했을 때 성능 향상을 보였지만, 이항 분포와 조합했을 땐 그렇지 않았다. 이는 손실-분포 간 상호작용이 다름을 시사한다.
• 단일 모드 제약은 정규화의 한 형태로 작용했으며, 특히 예측 모드에 인접한 이웃 클래스가 진짜 클래스와 가까울 경우 확률 질량이 높아지도록 보장함으로써 top-k 정확도에 특히 유리했다.
• 온도 스케일링(τ)은 특히 포아송 분포에서 성능 향상에 크게 기여했으며, 분산 제어로 질량이 너무 넓게 퍼지는 것을 방지했다.
• 더 큰 당뇨성 망막병변 데이터셋에서는 딥 네트워크가 자연스럽게 단일 모드 유사 분포를 학습했고, 이로 인해 명시적인 단일 모드 제약이 덜 필요했지만, 이항 분포를 사용할 경우 여전히 성능 향상이 관찰되었다.