[논문 리뷰] A simple squared-error reformulation for ordinal classification

Christopher Beckham, Christopher Pal|arXiv (Cornell University)|2016. 12. 02.

Retinal Imaging and Analysis참고 문헌 7인용 수 20

한 줄 요약

이 논문은 딥 뉴럴 네트워크에서 고정된 클래스 색인 벡터와 소프트맥스 활성화된 은닉층을 사용하여 순서 분류를 위한 단순한 제곱오차 재구성 방법을 제안한다. 예측된 순서 클래스 색인과 진짜 순서 클래스 색인 간의 제곱오차를 최소화함으로써, 이 방법은 校정된 확률 분포를 생성하고 당뇨성 망막병변 데이터셋에서 교차엔트로피와 직접 QWK 최적화보다 뛰어난 성능을 보이며, 더 높은 제곱가중카파 점수를 달성하면서도 레이블 노이즈에 더 강건하다.

ABSTRACT

In this paper, we explore ordinal classification (in the context of deep neural networks) through a simple modification of the squared error loss which not only allows it to not only be sensitive to class ordering, but also allows the possibility of having a discrete probability distribution over the classes. Our formulation is based on the use of a softmax hidden layer, which has received relatively little attention in the literature. We empirically evaluate its performance on the Kaggle diabetic retinopathy dataset, an ordinal and high-resolution dataset and show that it outperforms all of the baselines employed.

연구 동기 및 목표

• 표준 교차엔트로피 손실이 클래스 간 거리에 관계없이 오분류를 동일하게 취급하는 데서 비롯되는 한계를 해결하기 위해.
• 클래스 순서를 존중하고 순서 클래스에 대한 의미 있는 확률 분포를 생성하는 단순한 단일 모델 딥 러닝 접근법을 개발하기 위해.
• 고정된 클래스 색인을 사용한 제곱오차 손실이 실제 순서 의료 영상 작업에서 기존의 교차엔트로피와 직접 QWK 최적화보다 뛰어난 성능을 낼 수 있는지 평가하기 위해.
• 다른 지표를 최적화할 때 교차엔트로피와 제곱가중카파 성능 간의 상충관계가 어떻게 나타나는지 탐색하기 위해.

제안 방법

• 이 방법은 최종 소프트맥스 활성화층을 통해 클래스 확률을 생성하는 딥 뉴럴 네트워크를 사용하며, 이 확률들에 대해 고정된 선형 조합 a = [0, 1, ..., k-1]을 적용하여 기대하는 순서 클래스를 예측한다.
• 손실 함수는 진짜 클래스 색인 c와 소프트맥스 레이어의 출력 f(x)의 내적을 사용한 제곱오차 (c - a^T f(x))^2로 정의된다.
• 고정된 벡터 a는 학습되지 않으며, 이는 해석 가능성과 추가 파라미터의 방지를 보장한다. 동시에 네트워크는 진짜 순서 클래스 색인과의 거리를 최소화하도록 클래스 확률을 예측하도록 학습된다.
• 이 접근법은 카글의 당뇨성 망막병변 데이터셋에서 평가되었으며, 이는 다섯 단계의 질병 심각도를 가진 고해상도 순서 분류 작업이다.
• 표준 교차엔트로피 학습과 Nesterov 모멘텀를 사용한 SGD를 통한 제곱가중카파(QWK) 지표의 직접 최적화와 비교되었다.
• 예측의 校정성과 보수성 평가를 위해 히스토GRAM과 박스플롯을 통해 확률 분포가 분석되었다.

실험 결과

연구 질문

• RQ1 고정된 클래스 색인 벡터를 사용한 단순한 제곱오차 손실이 딥 뉴럴 네트워크에서 표준 교차엔트로피보다 순서 분류 성능을 향상시킬 수 있는가?
• RQ2 제안된 방법이 교차엔트로피나 직접 QWK 최적화보다 더 校정된 보수적인 확률 분포를 생성하는가?
• RQ3 다른 목표를 최적화할 때 교차엔트로피와 제곱가중카파 성능 간의 상충관계는 어떻게 나타나는가?
• RQ4 이 방법이 정확한 클래스에 대한 확률 집중을 엄격히 요구하지 않는 점을 감안할 때, 레이블 노이즈에 얼마나 강건한가?

주요 결과

• 제안된 방법 'fix a'는 검증 세트에서 교차엔트로피와 직접 QWK 최적화보다 더 높은 제곱가중카파 점수를 기록하여 모든 베이스라인을 압도했다.
• QWK보다 'fix a' 방법에서 정확한 클래스에 대한 확률 추정치가 0에 가까운 경우가 약 125건으로 줄어들었으며, 이는 더 나은 校정성과 잘못된 예측에 대한 과신을 줄였음을 시사한다.
• 교차엔트로피보다 'fix a' 방법에서 정확한 클래스에 대한 예측 확률이 더 자주 1에 가까워졌으며, 이는 정확한 예측에 대한 더 높은 자신감을 의미한다.
• 교차엔트로피보다 'fix a' 방법에서 잘못된 클래스들(예: 클래스 1과 2)에 할당된 중앙값 확률이 낮아 더 보수적인 예측 전략을 반영하고 있다.
• QWK 최적화 모델은 가장 높은 교차엔트로피 손실을 기록했으며, 이는 확률 분포가 정확한 클래스에 집중되어 있지 않음을 의미하지만, 클래스 간 거리 페널티를 더 잘 처리함으로써 최고의 QWK 점수를 달성했다.
• 이 방법은 단순하고, 미분 가능하며, 파라미터가 없는 소프트맥스 출력의 변환을 통해 순서 클래스에 대한 의미 있는 확률 분포를 학습하면서도 클래스 순서를 존중하는 데 성공했다.