[논문 리뷰] Deep Neural Networks for Rank-Consistent Ordinal Regression Based On Conditional Probabilities

Xintong Shi, Wenzhi Cao외 1명|arXiv (Cornell University)|2021. 11. 17.

Machine Learning and Data Classification참고 문헌 20인용 수 6

한 줄 요약

이 논문은 조건부 확률 분포를 체인 규칙를 통해 활용하여 가중치 공유 제약 조건 없이 순서형 순서를 강제하는, 신경망을 위한 조건부 순서형 회귀(CORN: Conditional Ordinal Regression for Neural Networks)를 제안한다. 기존의 CORAL과 같은 방법들과는 달리, CORN은 가중치 공유 제약 없이도 전체 네트워크의 표현력을 유지하면서도 순서 일致성을 확보함으로써 이미지 및 테이블 데이터셋에서 뛰어난 성능을 달성한다. MORPH-2 및 AFAD 데이터셋에서는 최신 기술 수준의 성능을 기록하였고, Fireman 데이터셋에서도 경쟁적인 성능을 보였다.

ABSTRACT

In recent times, deep neural networks achieved outstanding predictive performance on various classification and pattern recognition tasks. However, many real-world prediction problems have ordinal response variables, and this ordering information is ignored by conventional classification losses such as the multi-category cross-entropy. Ordinal regression methods for deep neural networks address this. One such method is the CORAL method, which is based on an earlier binary label extension framework and achieves rank consistency among its output layer tasks by imposing a weight-sharing constraint. However, while earlier experiments showed that CORAL's rank consistency is beneficial for performance, it is limited by a weight-sharing constraint in a neural network's fully connected output layer, which may restrict the expressiveness and capacity of a network trained using CORAL. We propose a new method for rank-consistent ordinal regression without this limitation. Our rank-consistent ordinal regression framework (CORN) achieves rank consistency by a novel training scheme. This training scheme uses conditional training sets to obtain the unconditional rank probabilities through applying the chain rule for conditional probability distributions. Experiments on various datasets demonstrate the efficacy of the proposed method to utilize the ordinal target information, and the absence of the weight-sharing restriction improves the performance substantially compared to the CORAL reference approach. Additionally, the suggested CORN method is not tied to any specific architecture and can be utilized with any deep neural network classifier to train it for ordinal regression tasks.

연구 동기 및 목표

• 깊은 신경망의 순서형 회귀에서 순서 일치성의 한계, 특히 순서형 레이블 순서를 忽시하는 방법들에 대응하기 위해.
• 기존의 순서 일치성 방법들인 CORAL과 같이 가중치 공유 제약 조건을 제거함으로써 모델의 표현력과 능력을 제한하는 문제를 해결하기 위해.
• 아키텍처에 종속되지 않는 학습 프레임워크를 개발하여 순서 일치성을 보장하면서도 낮은 계산 복잡도와 어떤 깊은 신경망 아키텍처와도 호환되도록 하기 위해.
• 가중치 공유 제약 조건을 제거함으로써 다양한 순서형 회귀 작업에서 예측 성능 향상이 실제로 이루어지는지 경험적으로 검증하기 위해.

제안 방법

• CORN은 조건부 확률 분포에 기반한 새로운 학습 체계를 사용하며, 체인 규칙를 적용하여 조건부 확률에서 무조건적 순서 확률을 계산한다.
• 각 이진 분류 작업을 위해 조건부 학습 서브셋을 구성함으로써, 확률 추정치가 이론적으로 탄탄하고 순서 일치적인지 보장한다.
• 각 순서형 클래스 k에 대해, y > r_k 인 데이터 서브셋을 사용하여 P(y > r_k | x)를 예측함으로써 출력 유닛 간 일致성 있는 순서를 확보한다.
• 최종 예측 순위는 누적 확률 점수에서 유도되며, 이는 더 높은 순위가 더 낮은 순위가 확신 있게 예측된 후에만 할당됨을 보장한다.
• 이 프레임워크는 아키텍처에 종속되지 않으며, CNN 및 피드포워드 네트워크를 포함한 어떤 깊은 신경망 분류기에도 적용 가능하다.
• 출력층에서의 가중치 공유가 필요 없게 되어, 최종 완전 연결층의 표현력이 전체적으로 유지된다.

실험 결과

연구 질문

• RQ1 깊은 신경망의 순서형 회귀에서 출력층에 가중치 공유 제약 조건을 부과하지 않고도 순서 일치성을 달성할 수 있는가?
• RQ2 순서 일치성 순서형 회귀에서 가중치 공유 제약 조건을 제거하면 실제 데이터셋에서 예측 성능이 향상되는가?
• RQ3 조건부 확률 기반의 학습 체계는 이론적 순서 일치성을 유지하면서도 모델 정확도를 향상시킬 수 있는가?
• RQ4 CORN의 성능는 다양한 이미지 및 테이블 데이터셋에서 OR-NN, CORAL 및 표준 크로스 엔트로피 기반 베이스라인과 비교해 어떻게 되는가?

주요 결과

• CORN은 MORPH-2 및 AFAD 이미지 데이터셋에서 최신 기술 수준의 성능를 기록하였으며, 각각 테스트 MAE가 2.98 ± 0.02 및 2.81 ± 0.02를 기록하여 OR-NN 및 CORAL를 모두 앞섰다.
• Fireman 테이블 데이터셋에서는 OR-NN의 성능(마진 오차: 0.76 ± 0.01)을 그대로 유지하면서도 CE-NN 및 CORAL를 능가하여 강력한 일반화 능력을 보였다.
• 제거 실험 결과, 학습 서브셋이 필수적임을 확인하였다: 이를 제거하면 모든 데이터셋에서 성능 저하가 발생하였으며, AFAD에서는 MAE가 3.06 ± 0.02로 상승했고, AES에서는 0.68 ± 0.01로 증가하였다.
• CORN이 가중치 공유 제약 조건을 제거함으로써 MORPH-2 및 AFAD에서 성능 향상을 이룩하였으며, CORAL이 표현력이 제한되어 OR-NN에 뒤지게 된 이유를 해결하였다.
• 학습 복잡도가 증가하지 않으며, 어떤 깊은 신경망 아키텍처와도 호환되며 순서 일치성을 유지한다.
• 다섯 개의 랜덤 시드에 걸쳐 결과가 안정적이었으며, 성능 향상이 랜덤 초기화나 데이터 셔플링 효과 때문임을 배제할 수 있었다.