[논문 리뷰] RankSim: Ranking Similarity Regularization for Deep Imbalanced Regression

Yu Gong, Greg Mori외 1명|arXiv (Cornell University)|2022. 05. 30.

Imbalanced Data Classification Techniques인용 수 15

한 줄 요약

이 논문은 딥 레이어드 불균형 회귀를 위한 새로운 순위 유사도 정규화 기법인 RankSim을 제안한다. 이 기법은 레이블 공간에서 가까운 샘플이 학습된 특징 공간에서도 가까워야 한다는 인덕티브 바이어스를 강제한다. 레이블 공간과 특징 공간에서 이웃의 전반적인 순위를 일치시킴으로써 RankSim은 불균형 회귀 벤치마크에서 일반화 성능을 향상시키며, IMDB-WIKI-DIR, AgeDB-DIR, STS-B-DIR에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 기존 기법들(예: 재가중, 분포 스무딩)과 상호보완적이다.

ABSTRACT

Data imbalance, in which a plurality of the data samples come from a small proportion of labels, poses a challenge in training deep neural networks. Unlike classification, in regression the labels are continuous, potentially boundless, and form a natural ordering. These distinct features of regression call for new techniques that leverage the additional information encoded in label-space relationships. This paper presents the RankSim (ranking similarity) regularizer for deep imbalanced regression, which encodes an inductive bias that samples that are closer in label space should also be closer in feature space. In contrast to recent distribution smoothing based approaches, RankSim captures both nearby and distant relationships: for a given data sample, RankSim encourages the sorted list of its neighbors in label space to match the sorted list of its neighbors in feature space. RankSim is complementary to conventional imbalanced learning techniques, including re-weighting, two-stage training, and distribution smoothing, and lifts the state-of-the-art performance on three imbalanced regression benchmarks: IMDB-WIKI-DIR, AgeDB-DIR, and STS-B-DIR.

연구 동기 및 목표

• 소수의 레이블이 부족한 불균형 회귀 데이터셋에서 딥 러닝의 과제를 해결하기 위해, 소수 레이블이 부족하고 모델이 대부분 레이블에 편향되는 문제를 다룬다.
• 분류에서 가능하지 않은 바탕으로 연속적인 레이블의 자연스러운 순서를 활용하여, 회귀에서 표현 학습을 향상시키기 위해 레이블의 순서 정보를 활용한다.
• 레이블 공간과 특징 공간에서 샘플 간 국소적 및 전역적 관계를 모두 포괄하는 정규화 기법을 개발한다.
• 특히 소수 또는 알려지지 않은 레이블이 중요한 제로샷 및 롱테일 환경에서 일반화 성능 향상을 위해 노력한다.
• 재가중, 이단계 학습, 분포 스무딩과 같은 기존 불균형 학습 기법들과 상호보완적으로 작동하도록 한다.

제안 방법

• RankSim은 각 샘플 표현 간 코사인 유사도를 사용해 레이블 공간(S^y)과 특징 공간(S^z)에서 이원 유사도 행렬을 구성한다.
• 각 기준 샘플에 대해, 레이블 공간에서의 이웃 유사도 정렬 목록이 특징 공간에서의 정렬 목록과 일치하도록 강제함으로써 전반적인 근접도 순위를 유지한다.
• 레이블 공간과 특징 공간에서의 이웃 순위 간 격리 차이를 최소화하는 미분 가능한 손실 함수를 사용하며, 교차 엔트로피 유사 목적 함수를 활용한다.
• 정규화 기법은 학습 중에 적용되며 표준 최적화와 호환되며, 추가적인 계산 오버헤드가 매우 적다.
• 재가중(SQINV 등) 및 분포 스무딩(LDS/FDS)과 같은 다른 기법들과 상호보완적으로 설계되었으며, 이들과 함께 사용 가능하다.
• 배치 기반으로 작동하며, 효율적인 확장성을 확보하기 위해 각 배치별로 유사도 행렬을 계산한다.

실험 결과

연구 질문

• RQ1 레이블 공간과 특징 공간에서 이웃의 전반적 순위를 유지하는 것이 불균형 회귀에서 표현 학습을 향상시키는가?
• RQ2 근처와 먼 레이블-특징 관계를 모두 포괄하는 정규화 기법이 롱테일 및 제로샷 설정에서 국소 스무딩 기법보다 우월한가?
• RQ3 다양한 불균형 회귀 벤치마크에서 RankSim은 LDS 및 FDS와 같은 최신 기술 수준 기법과 비교해 성능 및 내구성 면에서 어떻게 성과를 내는가?
• RQ4 균형 가중치 γ와 보간 강도 λ와 같은 하이퍼파라미터 선택에 대해 RankSim의 성능가 얼마나 민감한가?
• RQ5 특히 레이블 분포의 극단에서 발생하는 새로운(제로샷) 레이블로의 일반화 성능 향상에 RankSim이 기여하는가?

주요 결과

• RankSim은 IMDB-WIKI-DIR, AgeDB-DIR, STS-B-DIR의 세 가지 공개 불균형 회귀 벤치마크에서 새로운 최신 기술 수준 성능을 달성한다.
• AgeDB-DIR에서 RankSim은 LDS+FDS보다 제로샷 영역에서 성능이 뛰어나며, 레이블 분포의 극단에서 가장 큰 성능 격차를 보였다.
• 학습 오버헤드는 매우 작다: 네 대의 1080 Ti GPU에서 순전파당 16.8초, 에포크당 38.8초이며, 기존 학습 방식(12.2초, 31.5초)과 비교해 약간의 증가만을 유발한다.
• γ와 λ의 하이퍼파라미터 변동에 대해 성능가 뛰어난 내구성을 보이며, 복잡한 튜닝 없이도 실용적으로 사용 가능함을 시사한다.
• 제로샷 평가에서 RankSim은 LDS+FDS를 크게 앞서며, 이는 전반적 순위 인덕티브 바이어스가 국소 스무딩 기법보다 더 나은 외삽 성능을 가능하게 한다는 것을 시사한다.
• 시각화 결과는 균형 잡힌 설정에서 기존 네트워크가 자연스럽게 레이블 공간의 근접도와 특징 공간의 유사도 간 상관관계를 학습한다는 것을 보여주며, RankSim이 강제하는 핵심 인덕티브 바이어스의 타당성을 검증한다.