[논문 리뷰] Non-parametric Uni-modality Constraints for Deep Ordinal Classification

Soufiane Belharbi, Ismail Ben Ayed외 2명|arXiv (Cornell University)|2019. 11. 25.

Anomaly Detection Techniques and Applications참고 문헌 36인용 수 4

한 줄 요약

이 논문은 (c−1)개의 인접 레이블 간 쌍별 제약 조건을 통해 예측 후행 분포의 단모양성을 강제함으로써 비모수적이고 부등식 제약이 있는 딥 러닝 프레임워크를 제안한다. 이는 파라미터 가정 없이도 민첩하고 확장 가능한 학습을 가능하게 한다. 확장된 로그-바리어 방법을 사용하여, 페널티 기반 접근법과 최신 모델보다도 레이블 일관성과 정확도에서 뛰어나며, 특히 70개의 클래스를 가진 대규모 데이터셋 FGNET에서 뛰어난 성능을 발휘한다.

ABSTRACT

We propose a new constrained-optimization formulation for deep ordinal classification, in which uni-modality of the label distribution is enforced implicitly via a set of inequality constraints over all the pairs of adjacent labels. Based on (c-1) constraints for c labels, our model is non-parametric and, therefore, more flexible than the existing deep ordinal classification techniques. Unlike these, it does not restrict the learned representation to a single and specific parametric model (or penalty) imposed on all the labels. Therefore, it enables the training to explore larger spaces of solutions, while removing the need for ad hoc choices and scaling up to large numbers of labels. It can be used in conjunction with any standard classification loss and any deep architecture. To tackle the ensuing challenging optimization problem, we solve a sequence of unconstrained losses based on a powerful extension of the log-barrier method. This handles effectively competing constraints and accommodates standard SGD for deep networks, while avoiding computationally expensive Lagrangian dual steps and outperforming substantially penalty methods. Furthermore, we propose a new performance metric for ordinal classification, as a proxy to measure distribution uni-modality, referred to as the Sides Order Index (SOI). We report comprehensive evaluations and comparisons to state-of-the-art methods on benchmark public datasets for several ordinal classification tasks, showing the merits of our approach in terms of label consistency, classification accuracy and scalability. Importantly, enforcing label consistency with our model does not incur higher classification errors, unlike many existing ordinal classification methods. A public reproducible PyTorch implementation is provided. (https://github.com/sbelharbi/unimodal-prob-deep-oc-free-distribution)

연구 동기 및 목표

• 낮은 교차 엔트로피 손실에도 불구하고 모순적인 예측을 내보내는 표준 딥 오더링 분류에서의 레이블 일관성 부족 문제를 해결한다.
• 기존의 파라미터 가정 기반 접근법의 한계를 극복한다. 이러한 접근법은 레이블 분포에 대해 강성 있는 단모양 형태(예: 정규분포 또는 포isson 분포)를 강제하며, 민감한 하이퍼파라미터 조정이 필요하다.
• 출력 분포를 특정한 파라미터 가정 가족에 제약 없이 더 넓은 해 공간 탐색이 가능한 민감한 비모수적 설정을 개발한다.
• 복잡한 작업 특화 파라미터 가정을 피하고, 부호화된 설계 선택에 의존도를 줄임으로써 대량의 순서형 클래스에 대한 확장성을 확보한다.
• 예측 레이블 분포의 단모양성과 일관성을 정량적으로 평가하기 위해 새로운 성능 지표인 Sides Order Index (SOI)를 도입한다.

제안 방법

• 예측 사후 분포의 단모양성을 확보하기 위해 인접 레이블 쌍 간 (c−1)개의 부등식 제약 조건을 포함한 제약 최적화 문제로 오더링 분류를 재정의한다.
• 제약 문제를 순차적인 비제약 하위문제로 변환하기 위해 확장된 로그-바리어 방법을 사용하여, 고비용의 이중 또는 투영 단계 없이 표준 SGD 학습이 가능하다.
• 표준 분류 손실(예: 교차 엔트로피)과 어떤 딥 네ural 네트워크 아키텍처와도 제약 프레임워크를 통합한다.
• 로그-바리어 방법이 경쟁적 제약을 효과적으로 처리할 수 있는 능력을 활용하여, 타당하고 일관된 해에 수렴함을 보장한다.
• 예측 분포의 단모양성 정도를 정량화하기 위해 미분 가능한 대체 지표로 Sides Order Index (SOI)를 설계한다.
• ICIAR, HCI, AFAD-Lite, AFAD-Full, FGNET 등의 벤치마크 데이터셋에 방법을 적용하여 MAE 및 SOI와 같은 다수의 지표로 성능을 평가한다.

실험 결과

연구 질문

• RQ1 특정한 파라미터 형태를 부여하지 않고도 출력 분포의 형태를 제약하지 않는 비모수적이고 부등식 제약 최적화 프레임워크가 딥 오더링 분류의 레이블 일관성을 향상시킬 수 있는가?
• RQ2 제안된 로그-바리어 기반 최적화 방법은 페널티 기반 및 라그랑주 이중 방법에 비해 제약 충족도와 학습 효율성 측면에서 어떻게 비교되는가?
• RQ3 인접 레이블 제약 조건을 통한 단모양성 강제가 대규모 순서형 클래스를 가진 데이터셋에서 일반화 및 확장성 향상에 얼마나 기여하는가?
• RQ4 제안된 Sides Order Index (SOI)는 오더링 분류에서 예측 레이블 분포의 일관성을 정량적으로 측정하는 신뢰할 수 있는, 미분 가능한 대체 지표로 기능할 수 있는가?
• RQ5 최신 기술 대비 예측 일관성 향상에 크게 기여하면서도 분류 정확도(예: MAE)를 유지하거나 향상시키는가?

주요 결과

• 제안된 ELB(확장된 로그-바리어) 방법은 70개 클래스를 가진 FGNET에서 최신 기술 성능을 달성하여 평균 절대 오차(MAE) 4.27을 기록했으며, REN(4.53)과 MV(5.21)를 모두 앞서나갔다.
• AFAD-Full에서 ELB는 MAE 3.19를 기록하여 Niu 등(2016)에서 보고한 이전 최고 기록인 3.34를 초월했으며, 기준 모델이 100번의 런을 사용한 데 비해 ELB는 오직 10번의 랜덤 런만 사용했다.
• 교차 엔트로피 손실과 결합했을 때 ELB는 ICIAR, HCI, AFAD-Lite, FGNET 등 모든 데이터셋에서 MAE를 일관되게 향상시켜, 제약 강제가 예측 정확도를 향상시킨다는 것을 입증한다.
• Sides Order Index (SOI) 지표는 단모양성을 효과적으로 캡처하며, ELB는 기준 방법보다 유의미하게 높은 SOI 값을 기록하여 더 강한 레이블 일관성을 나타낸다.
• 로그-바리어 방법은 페널티 기반(PN) 및 라그랑주 이중 방법보다 제약 충족도에서 뛰어나며, 표준 교차 엔트로피 학습 대비 최소한의 계산 오버헤드를 유발한다.
• 이 방법은 대규모 클래스 수에 대해 효과적으로 확장 가능하며, 다른 방법들이 스케일이 안 되거나 평가되지 않은 FGNET(70개 클래스)에서 뛰어난 성능을 보여주었다.