[논문 리뷰] Improving Deep Regression with Ordinal Entropy

Shihao Zhang, Linlin Yang외 3명|arXiv (Cornell University)|2023. 01. 21.

Neural Networks and Applications인용 수 9

한 줄 요약

이 연구는 왜 cross-entropy로 분류가 연속 타깃에 대해 회귀의 MSE보다 자주 우수한지 분석하고, 합성 및 실제 과제에서 회귀 성능을 높이기 위해 ordinal entropy regularizer를 도입합니다.

ABSTRACT

In computer vision, it is often observed that formulating regression problems as a classification task often yields better performance. We investigate this curious phenomenon and provide a derivation to show that classification, with the cross-entropy loss, outperforms regression with a mean squared error loss in its ability to learn high-entropy feature representations. Based on the analysis, we propose an ordinal entropy loss to encourage higher-entropy feature spaces while maintaining ordinal relationships to improve the performance of regression tasks. Experiments on synthetic and real-world regression tasks demonstrate the importance and benefits of increasing entropy for regression.

연구 동기 및 목표

• 딥 러닝에서 연속 타깃에 대해 왜 분류가 종종 회귀보다 우수한지 조사한다.
• 특징 공간 엔트로피가 회귀 학습에 어떻게 영향을 주는지 설명한다.
• 특징 엔트로피를 증가시키면서 서수 관계를 보존하는 엔트로피 기반 정규화기를 제안한다.
• 합성 operator-learning 과제와 실제 회귀(깊이 추정, 인구 밀도 추정, 연령 추정)에서 정규화기의 효과를 입증한다.

제안 방법

• 회귀가 H(Z|Y)는 최소화하지만 H(Z)는 최소화하지 않는 것을 보이는 상호 정보 기반 비교를 도출한다.
• 평균 최근접 이웃 엔트로피 추정기를 사용하여 특징 엔트로피를 정량화한다.
• 서수 엔트로피 정규화기를 도입하여 다양성 항 L_d와 타이트니스 항 L_t로 H(Z)를 증가시키되 서수 관계를 보존한다.
• 레이블 공간 거리 w_{ij}=||y_i - y_j||로 특징 중심 간 거리를 가중하여 서수 구조를 유지한다.
• 최종 손실 L_total = L_m + lambda_d L_d + lambda_t L_t 를 정의하고 회귀 학습에 통합한다.

실험 결과

연구 질문

• RQ1 왜 cross-entropy로 분류가 연속 타깃에 대해 회귀의 MSE보다 더 높은 엔트로피의 특징 표현을 촉진하는가?
• RQ2 특징 엔트로피를 증가시키는 것이 서수 관계를 파괴하지 않으면서 회귀 성능에 어떤 영향을 미치는가?
• RQ3 서수 엔트로피 정규화기가 합성 및 실제 과제에서 회귀를 개선할 수 있는가?
• RQ4 정규화기의 효과에 영향을 주는 핵심 요인(정규화, 가중치 부여, 샘플 크기)은 무엇인가?

주요 결과

• MSE를 이용한 회귀는 분류와 비교하여 더 낮은 엔트로피의 특징 공간(Z)을 학습하는 경향이 있다.
• 서수 엔트로피 정규화기는 서수 관계를 보존하면서 특징 중심을 확산시켜 회귀 성능을 향상시킬 수 있다.
• 제안된 방법은 깊이 추정, 인구 밀도 추정, 연령 추정에서 주목할 만한 개선을 보이며 합성 operator-learning 과제에서도 강한 이득을 보인다.
• 절단(a)에서 서수 거리의 도입, 정규화, 균형 가중치가 효과에 중요하다는 것을 보여준다.
• 엔트로피 분석은 분류가 H(Z)를 회귀보다 더 높게 유지하고, 정규화기가 학습 중 H(Z)를 높일 수 있음을 시사한다.