[논문 리뷰] Learning-to-Rank Meets Language: Boosting Language-Driven Ordering Alignment for Ordinal Classification

Rui Wang, Peipei Li외 4명|arXiv (Cornell University)|2023. 06. 24.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 L2RCLIP를 제안하며, 새로운 프롬프트 튜닝 방법인 RankFormer와 교차모달 순서쌍 손실을 통해 언어 사전 지식을 활용하여 순서 분류 성능을 향상시킨다. CLIP의 특징 공간에서 의미적 일치와 순서 일치를 동시에 개선함으로써, L2RCLIP는 얼굴 연령 추정, 미적 평가, 역사적 이미지 연도 추정에서 최신 기술 성능을 달성하며, 이전 방법 대비 최대 3.02%의 정확도 향상과 0.35 MAE 감소를 기록한다.

ABSTRACT

We present a novel language-driven ordering alignment method for ordinal classification. The labels in ordinal classification contain additional ordering relations, making them prone to overfitting when relying solely on training data. Recent developments in pre-trained vision-language models inspire us to leverage the rich ordinal priors in human language by converting the original task into a visionlanguage alignment task. Consequently, we propose L2RCLIP, which fully utilizes the language priors from two perspectives. First, we introduce a complementary prompt tuning technique called RankFormer, designed to enhance the ordering relation of original rank prompts. It employs token-level attention with residual-style prompt blending in the word embedding space. Second, to further incorporate language priors, we revisit the approximate bound optimization of vanilla cross-entropy loss and restructure it within the cross-modal embedding space. Consequently, we propose a cross-modal ordinal pairwise loss to refine the CLIP feature space, where texts and images maintain both semantic alignment and ordering alignment. Extensive experiments on three ordinal classification tasks, including facial age estimation, historical color image (HCI) classification, and aesthetic assessment demonstrate its promising performance. The code is available at https://github.com/raywang335/L2RCLIP.

연구 동기 및 목표

• 기존 순서 분류 방법이 레이블 순서를 효과적으로 모델링하지 못하는 한계, 특히 데이터 부족 또는 분포 이탈 상황에서의 문제를 해결하기 위해.
• 인간 언어에 내재된 풍부한 순서 사전 지식을 활용하여 시각-언어 모델의 일반화 능력을 향상시키고 과적합을 줄이기 위해.
• CLIP의 교차모달 임bedding 공간에서 의미적 일치와 순서 일치를 동시에 보장하여, 제로샷 및 피셔샷 성능을 향상시키기 위해.
• 언어를 통해 상대적 순위 관계를 명시적으로 모델링함으로써 기존 시각-언어 모델보다 순서 분류 과제에서 뛰어난 성능을 내는 방법을 개발하기 위해.

제안 방법

• 원래 순서 프롬프트의 순서 관계를 향상시키기 위해 토큰 수준의 어텐션과 잔여 스타일 블렌딩을 적용하는 보조 프롬프트 튜닝 기법인 RankFormer를 도입한다.
• 언어 사전 지식을 통합하여 교차모달 임베딩 공간에서 교차 엔트로피 손실의 근사 경계를 재구성함으로써 일반화 능력을 향상시킨다.
• CLIP의 임베딩 공간에서 이미지 및 텍스트 특징 간 의미적 일치와 순서 일치를 강제하는 교차모달 순서쌍 손실을 제안한다.
• 인터폴레이션된 순서 템플릿을 사용하여 상대적 순서를 유지하면서 의미 일관성을 보존함으로써, 이전 방법에서 관찰된 상호 보완적 트레이드오프를 피한다.
• 이중 최적화 전략을 적용한다: 하나는 대비 손실을 통한 의미 일치 최적화, 다른 하나는 순서쌍 랭킹 제약 조건을 통한 순서 일치 최적화.
• 강화된 순서 프롬프트와 새로운 순서쌍 손실을 사용해 CLIP를 미세조정함으로써, 순서 분류를 위한 특징 공간을 정교하게 조정한다.

실험 결과

연구 질문

• RQ1 언어 사전 지식을 효과적으로 활용하여 시각-언어 모델의 순서 일치를 향상시킬 수 있는가?
• RQ2 의미 일치를 훼손하지 않으면서도 상대적 순위 관계를 명시적으로 모델링할 수 있도록 프롬프트 튜닝을 어떻게 개선할 수 있는가?
• RQ3 언어에서 유래한 순서 사전 지식을 CLIP 특징 공간에 통합하면 제로샷 및 피셔샷 순서 분류에서 성능 향상이 이루어지는가?
• RQ4 통합된 손실 함수가 교차모달 임베딩 공간에서 의미 일치와 순서 일치를 동시에 최적화할 수 있는가?
• RQ5 데이터 분포 변화 상황에서 CoOp나 OrdinalCLIP와 같은 기존 접근법에 비해 본 연구 방법의 강건성과 일반화 능력은 어떻게 비교되는가?

주요 결과

• L2RCLIP는 얼굴 연령 추정에서 언어 사전 지식이 없는 최상의 베이스라인 대비 MAE를 0.35 감소시켜 최신 기술 성능을 달성한다.
• CrowdBeauty 데이터셋에서 L2RCLIP는 정확도를 3.02% 향상시키고 MAE를 0.35 감소시켜, 미적 평가 과제에서 뛰어난 성능을 입증한다.
• 역사적 이미지 연도 추정 과제에서 L2RCLIP는 MAE 0.43과 정확도 67.22%를 기록하며, 이전 최신 기술 방법보다 큰 폭으로 뛰어나며 표준편차도 낮게 유지한다.
• 절단 실험 결과, RankFormer와 교차모달 순서쌍 손실이 모두 필수적인 구성 요소임을 확인하였으며, 각각 성능 향상에 기여한다.
• L2RCLIP는 피셔샷 및 데이터 분포 변화 상황에서도 뛰어난 강건성을 보이며, 언어 사전 지식을 통한 효과적인 일반화 능력을 입증한다.
• 이전 방법들(예: OrdinalCLIP)에서 관찰된 상호 보완적 트레이드오프를 피하면서도 의미 일치와 순서 일치를 성공적으로 유지한다.