[논문 리뷰] Rank4Class: A Ranking Formulation for Multiclass Classification

Nan Wang, Zhen Qin외 5명|arXiv (Cornell University)|2021. 12. 17.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 다중분류 문제를 각 입력 인스턴스에 대해 클래스를 순위 매기는 것으로 재정의하는 새로운 순위 매기기 형식인 Rank4Class를 제안한다. NDCG와 같은 순위 매기기 지표 및 고급 러닝-투-랭킹 손실 함수를 활용하여, 백본 모델을 수정하지 않고도 텍스트 및 이미지 작업에서 성능을 향상시킨다. 다양한 벤치마크에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성하며, 표준 Top-K 지표에 비해 일반화 능력이 향상된다.

ABSTRACT

Multiclass classification (MCC) is a fundamental machine learning problem of classifying each instance into one of a predefined set of classes. In the deep learning era, extensive efforts have been spent on developing more powerful neural embedding models to better represent the instance for improving MCC performance. In this paper, we do not aim to propose new neural models for instance representation learning, but to show that it is promising to boost MCC performance with a novel formulation through the lens of ranking. In particular, by viewing MCC as to rank classes for an instance, we first argue that ranking metrics, such as Normalized Discounted Cumulative Gain, can be more informative than the commonly used Top-$K$ metrics. We further demonstrate that the dominant neural MCC recipe can be transformed to a neural ranking framework. Based on such generalization, we show that it is intuitive to leverage advanced techniques from the learning to rank literature to improve the MCC performance out of the box. Extensive empirical results on both text and image classification tasks with diverse datasets and backbone neural models show the value of our proposed framework.

연구 동기 및 목표

• 다중분류 문제를 순위 매기기 문제로 재정의하여 더 유의미한 평가와 향상된 모델 성능를 가능하게 한다.
• Top-K 정확도보다 NDCG와 같은 순위 매기기 지표가 다중분류 모델 평가에 더 유용하다는 것을 입증한다.
• 기존의 딥러닝 기반 다중분류 파이프라인을 신경망 순위 매기기 프레임워크로 동일하게 볼 수 있음을 보여준다.
• 순위 인식 손실 함수와 향상된 인스턴스-클래스 상호작용 모델링을 통해 다중분류 성능 향상을 가능하게 한다.
• 백본 신경망을 변경하지 않고 다양한 데이터셋과 모odalities에서 성능 향상을 이끌 수 있는 일반적이고 아키텍처에 종속되지 않는 프레임워크를 제공한다.

제안 방법

• 각 입력 인스턴스를 쿼리로, 각 클래스를 순위를 매길 대상으로 간주하여 다중분류 문제를 러닝-투-랭킹 문제로 재정의한다.
• Top-K 정확도보다 더 유의미한 평가를 가능하게 하기 위해 정규화된 할인 누적 수익(NDCG)과 같은 순위 매기기 지표를 채택한다.
• 분류 레이어를 순위 스코어러로 간주하여 표준 MCC 파이프라인을 신경망 순위 매기기 프레임워크로 변환한다.
• 러닝-투-랭킹 문헌에서 유래한 고급 러닝-투-랭킹 손실 함수(예: LTR 문헌에서의 예)를 사용하여 표준 크로스 엔트로피 손실 대신 순위 품질을 최적화한다.
• 잠재 교차 및 연결 기반 메커니즘을 포함하여 입력 인스턴스와 클래스 표현 간의 더 풍부한 상호작용을 모델링함으로써 모델 용량을 향상시킨다.
• 백본 모델(예: ResNet, ViT, BERT)을 다양하게 사용하여 텍스트 및 이미지 분류 작업에 프레임워크를 적용하며, 인코더 아키텍처에 변경 없이 적용한다.

실험 결과

연구 질문

• RQ1 NDCG와 같은 순위 매기기 지표가 다중분류 평가에서 Top-K 정확도보다 더 많은 정보를 제공할 수 있는가?
• RQ2 다중분류 문제를 러닝-투-랭킹 문제로 재정의함으로써 성능 향상을 이룰 수 있는가?
• RQ3 순위 인식 손실 함수와 향상된 인스턴스-클래스 상호작용 메커니즘이 다중분류 성능에 어떤 영향을 미치는가?
• RQ4 제안된 프레임워크는 백본 신경망을 변경하지 않고 다양한 데이터셋과 모달리티에서 성능 향상을 이룰 수 있는가?
• RQ5 실제로 다양한 순위 매기기 지표(예: Top-1 오차 대비 NDCG@5) 간의 상관관계는 어느 정도인가?

주요 결과

• 제안된 Rank4Class 프레임워크는 평가된 모든 텍스트 및 이미지 분류 작업에서 베이스라인 모델을 능가하거나 동등하게 성능을 내며 일관된 성능 향상을 보였다.
• NDCG@5는 Top-5 오차보다 더 유용한 평가 지표로 확인되었으며, 두 지표 간에 모델 간 순위가 다름을 확인하였다.
• 잠재 교차 상호작용 메커니즘은 Top-1 오차 기준 6개 작업 중 4개, NDCG@5 기준 6개 중 5개에서 최고 성능를 기록하여 인스턴스-클래스 상호작용 모델링이 뛰어났음을 시사했다.
• ResNet, ViT, BERT를 포함한 다양한 데이터셋과 백본 모델에서 프레임워크는 최신 기술 수준 또는 경쟁력 있는 성능를 달성하였으며, 인코더 아키텍처를 변경하지 않았다.
• 러닝-투-랭킹 분야의 손실 함수를 사용함으로써 표준 크로스 엔트로피 손실 대비 모든 설정에서 측정 가능한 성능 향상이 이루어졌다.
• 표준 MCC와 신경망 순위 매기기 파이프라인 간의 등가성이 실증적으로 검증되었으며, 기존 모델에 대한 새로운 이론적 및 실용적 해석 시각을 제공한다.