[논문 리뷰] Rank-N-Contrast: Learning Continuous Representations for Regression

Kaiwen Zha, Peng Cao외 3명|arXiv (Cornell University)|2022. 10. 03.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 타겟 값 순위 기반으로 샘플을 대조함으로써 연속적이고 회귀 인식 표현을 학습하는 새로운 프레임워크인 Rank-n-Contrast (RnC)를 제안한다. 순위 인식 대조 손실을 최적화함으로써 RnC는 학습된 특징이 회귀 타겟의 연속적 순서를 유지하도록 보장하며, 시각, HCI 및 헬스케어 분야의 다섯 개인 실세계 회귀 데이터셋에서 최신 기술 성능을 달성하면서도 더 높은 강인성, 데이터 효율성 및 일반화 능력을 확보한다.

ABSTRACT

Deep regression models typically learn in an end-to-end fashion without explicitly emphasizing a regression-aware representation. Consequently, the learned representations exhibit fragmentation and fail to capture the continuous nature of sample orders, inducing suboptimal results across a wide range of regression tasks. To fill the gap, we propose Rank-N-Contrast (RNC), a framework that learns continuous representations for regression by contrasting samples against each other based on their rankings in the target space. We demonstrate, theoretically and empirically, that RNC guarantees the desired order of learned representations in accordance with the target orders, enjoying not only better performance but also significantly improved robustness, efficiency, and generalization. Extensive experiments using five real-world regression datasets that span computer vision, human-computer interaction, and healthcare verify that RNC achieves state-of-the-art performance, highlighting its intriguing properties including better data efficiency, robustness to spurious targets and data corruptions, and generalization to distribution shifts. Code is available at: https://github.com/kaiwenzha/Rank-N-Contrast.

연구 동기 및 목표

• 기존의 회귀 및 표현 학습 방법이 회귀 타겟의 연속적 성격을 포착하는 데에 한계가 있음을 다루기.
• 표준 손실(예: L1, MSE)과 대조 학습 방법(예: SupCon)이 특징 학습이 분할되어 순서가 유지되지 않기 때문에 순서가 보존되고 연속적인 표현을 생성하지 못함을 규명하기.
• 타겟 값의 연속적 순서와 일치하는 회귀 인식 표현을 명시적으로 학습하는 프레임워크 개발하기.
• 제안된 방법이 다양한 회귀 작업에서 성능, 강인성, 데이터 효율성 및 일반화 능력을 향상시킴을 입증하기.
• 컴퓨터 비전, 인간-컴퓨터 상호작용 및 헬스케어 분야의 실세계 데이터셋에서 방법의 효과성 검증하기.

제안 방법

• 실제 타겟 값에 따라 배치 내 샘플을 순위 매기는 새로운 손실 함수인 Rank-n-Contrast 손실(ℒ_RnC)을 제안한다.
• 입력 유사성이나 클래스 레이블이 아닌 타겟 공간 내 상대적 순위에 기반해 양성 및 음성 샘플 쌍을 구성한다.
• 유사한 타겟 순위를 가진 샘플의 특징 표현이 가까워지도록 대조 학습 원리를 적용한다.
• 임베딩 공간 내 표현의 상대적 순서가 타겟 값의 순서를 그대로 반영하도록 보장하여 연속성 확보하기.
• 최종 예측과 표현 학습을 분리하여, RnC로 학습된 특징과 함께 어떤 회귀 헤드라도 사용할 수 있도록 한다.
• 표준 회귀 헤드와 함께 ℒ_RnC 손실을 엔드 투 엔드로 최적화함으로써 기존의 회귀 파ip라인과의 호환성 확보하기.

실험 결과

연구 질문

• RQ1 회귀 타겟의 연속적 순서를 명시적으로 포착할 수 있는 대조 학습 프레임워크를 설계할 수 있는가?
• RQ2 타겟 값 순위를 고려한 표현 학습은 표준 손실 대비 더 나은 회귀 성능을 제공하는가?
• RQ3 기본 방법 대비 RnC는 데이터 오염 및 허위 타겟에 대해 얼마나 더 강인한가?
• RQ4 분포 이탈 조건 하에서 RnC는 데이터 효율성과 일반화 능력 측면에서 어떻게 성능을 발휘하는가?
• RQ5 성능 향상은 제안된 손실 덕분인지, 단지 학습 체계의 부산물인가?

주요 결과

• RnC는 컴퓨터 비전, 인간-컴퓨터 상호작용 및 헬스케어 분야의 다섯 개인 실세계 회귀 데이터셋에서 최신 기술 성능을 달성한다.
• 방법은 데이터 효율성을 크게 향상시켜, 표준 회귀 기반선 대비 더 적은 학습 샘플로도 더 나은 성능을 달성한다.
• RnC는 데이터 오염 및 허위 타겟에 대해 뛰어난 강인성을 보이며, 분포 이탈 조건에서도 성능을 유지한다.
• 예측되지 않은 타겟 값에 대해서도 잘 일반화되므로, 연속적 타겟 공간에 강력한 인덕티브 바이어스를 지닌다.
• 제거 실험을 통해 성능 향상 요인이 ℒ_RnC 손실임을 확인하였으며, RnC 특징에 표준 손실을 사용할 경우 성능 향상이 발생하지 않음을 확인하였다.
• RnC의 학습 시간은 표준 대조 학습(예: SupCon)과 유사하여 추가적인 계산 오버헤드가 없다.