[논문 리뷰] Balanced MSE for Imbalanced Visual Regression

Jiawei Ren, Mingyuan Zhang외 2명|arXiv (Cornell University)|2022. 03. 30.

Imbalanced Data Classification Techniques인용 수 6

한 줄 요약

이 논문은 시각적 회귀에서 레이블 분포 불균형을 보정하기 위해 훈련 레이블 사전확률을 활용하여 균형 잡힌 예측을 가능하게 하는 통계적으로 타당한 손실 함수인 Balanced MSE를 제안한다. 표준 MSE와 재가중 기반 방법보다 우수하며, 특히 고도의 비대칭성이 존재할 경우에 뛰어난 성능을 보이며, 최소한의 계산 오버헤드로 고차원 불균형 회귀에 대한 일반적인 해결책이자 최초의 방법이다.

ABSTRACT

Data imbalance exists ubiquitously in real-world visual regressions, e.g., age estimation and pose estimation, hurting the model's generalizability and fairness. Thus, imbalanced regression gains increasing research attention recently. Compared to imbalanced classification, imbalanced regression focuses on continuous labels, which can be boundless and high-dimensional and hence more challenging. In this work, we identify that the widely used Mean Square Error (MSE) loss function can be ineffective in imbalanced regression. We revisit MSE from a statistical view and propose a novel loss function, Balanced MSE, to accommodate the imbalanced training label distribution. We further design multiple implementations of Balanced MSE to tackle different real-world scenarios, particularly including the one that requires no prior knowledge about the training label distribution. Moreover, to the best of our knowledge, Balanced MSE is the first general solution to high-dimensional imbalanced regression. Extensive experiments on both synthetic and three real-world benchmarks demonstrate the effectiveness of Balanced MSE.

연구 동기 및 목표

• 연령 및 자세 추정과 같은 시각적 회귀 작업에서 훈련 데이터에 희귀 레이블이 과소 표현되는 데이터 불균형 문제를 해결한다.
• 표준 평균제곱오차(MSE)의 한계를 극복한다. MSE는 레이블 불균형을 예측에 그대로 반영하여 희귀 클래스 성능을 악화시킨다.
• 훈련 레이블 분포에 대한 사전 지식이 없더라도 적용 가능한 고차원 불균형 회귀를 위한 일반 목적의 솔루션을 개발한다.
• 기존의 재가중 기반 접근법이 애초에 악영향을 미치는 레이블 분포의 비대칭성과 무작위 시드 변동성에 대해 강건성을 확보한다.

제안 방법

• MSE를 통계적 관점에서 재해석하여, 가우시안 예측 분포 하에서 음의 로그우도(NLL) 최소화로 해석한다.
• 훈련 레이블 분포를 활용하여 예측 목표 분포를 균형 잡힌 테스트 분포에서 훈련에 적합한 형태로 변환하는 보정을 제공하는 Balanced MSE를 제안한다.
• 확장성 확보를 위해 두 가지 변형으로 구현한다: 폐쇄형 가우시안 평균화 구현(GAI)과 미분 가능한 몬테카를로 근사(BMC)이다.
• 불확실성을 모델링하기 위해 학습 가능한 등방성 노이즈 스케일 파라미터를 도입하였으며, 모델 가중치와 함께 공동 최적화한다.
• 복잡한 레이블 비대칭성을 유연하게 모델링하기 위해 K개 성분을 가진 가우시안 믹스처 모델(GMM)을 사용하여 훈련 레이블 분포를 추정한다.
• 합성 벤치마크와 실제 응용 과제(연령 추정, 깊이 추정, 3D 인간 메시 복원(HMR))에 모두 적용한다.

실험 결과

연구 질문

• RQ1 시각적 회귀에서 심한 레이블 분포 비대칭성이 존재할 경우 표준 MSE의 성능은 어떠한가? 그리고 희귀 레이블에서 실패하는 이유는 무엇인가?
• RQ2 레이블 분포에 대한 사전 지식이 없더라도 레이블 불균형을 보정할 수 있는 통계적으로 타당한 손실 함수를 설계할 수 있는가?
• RQ3 분포 비대칭성과 무작위 시드 변동성에 대해 Balanced MSE는 재가중 기반 방법보다 얼마나 강건한가?
• RQ4 Balanced MSE는 다차원 연속 레이블을 가진 고차원 회귀 과제, 예를 들어 3D 인간 메시 복원에 일반화될 수 있는가?

주요 결과

• 합성 1D 및 2D 불균형 회귀 벤치마크에서 Balanced MSE는 표준 MSE 및 재가중 기반 방법보다 유의미하게 낮은 평균 절대 오차(MAE)를 달성하며, 특히 고도의 비대칭성이 존재할 경우에 뚜렷한 성능 향상을 보였다.
• IMDB-WIKI-DIR 벤치마크에서 Balanced MSE는 모든 레이블 그룹(많음, 중간, 적음, 모두)에서 MAE를 1.5~2.5점 감소시켰으며, 특히 희귀(적음) 레이블에서 가장 큰 향상을 보였다.
• 재가중 기반 방법과 달리, Random seed 변화에 대해 강건한 성능을 보였으며, 다양한 무작위 초기화 간 성능 변동성이 낮았다.
• Balanced MSE의 GAI 및 BMC 구현은 유사한 성능을 보였으며, BMC는 더 뛰어난 확장성과 더 복잡한 레이블 분포에 적합했다.
• 노이즈 스케일 파라미터를 공동 최적화함으로써 고정된 노이즈 스케일보다 헤드와 테일 레이블 간 성능 트레이드오���을 더 잘 극복할 수 있었다.
• Balanced MSE의 계산 오버헤드는 극히 미미하여, IMDB-WIKI-DIR에서 반복당 약 0.3초에 불과하여 실세계 적용에 매우 실용적이다.