[논문 리뷰] Towards Discriminability and Diversity: Batch Nuclear-norm Maximization under Label Insufficient Situations

Shuhao Cui, Shuhui Wang외 4명|arXiv (Cornell University)|2020. 03. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 26

한 줄 요약

이 논문은 배치 출력 행렬의 노름을 최대화하여 레이블 부족 상황에서 예측의 구분 능력과 다양성을 향상시키는 새로운 훈련 목표인 배치 핵노름 최대화(Batch Nuclear-norm Maximization, BNM)를 제안한다. BNM은 준지도 학습, 도메인 적응, 개방 도메인 인식 등 다양한 분야에서 성능을 향상시키며, 무 supervision 개방 도메인 인식에서 최신 기준 성능을 달성하고, 엔트로피 최소화 및 균형 제약보다 소수의 카테고리 예측 다양성을 향상시켜 뛰어난 성능을 발휘한다.

ABSTRACT

The learning of the deep networks largely relies on the data with human-annotated labels. In some label insufficient situations, the performance degrades on the decision boundary with high data density. A common solution is to directly minimize the Shannon Entropy, but the side effect caused by entropy minimization, i.e., reduction of the prediction diversity, is mostly ignored. To address this issue, we reinvestigate the structure of classification output matrix of a randomly selected data batch. We find by theoretical analysis that the prediction discriminability and diversity could be separately measured by the Frobenius-norm and rank of the batch output matrix. Besides, the nuclear-norm is an upperbound of the Frobenius-norm, and a convex approximation of the matrix rank. Accordingly, to improve both discriminability and diversity, we propose Batch Nuclear-norm Maximization (BNM) on the output matrix. BNM could boost the learning under typical label insufficient learning scenarios, such as semi-supervised learning, domain adaptation and open domain recognition. On these tasks, extensive experimental results show that BNM outperforms competitors and works well with existing well-known methods. The code is available at https://github.com/cuishuhao/BNM.

연구 동기 및 목표

• 레이블 부족 조건에서 결정 경계에서의 모델 성능 저하, 특히 고밀도 데이터 영역에서의 모호한 예측으로 인한 성능 저하 문제를 해결하기 위해.
• 엔트로피 최소화의 부작용을 극복하기 위해, 다수의 카테고리를 선호함으로써 소수의 카테고리 예측의 다양성을 감소시키는 문제를 해결하기 위해.
• 소수 카테고리에 대한 사전 지식이 없이도 예측의 구분 능력과 다양성을 동시에 향상시킬 수 있는 통합된 훈련 목표를 개발하기 위해.
• 준지도 학습, 도메인 적응, 개방 도메인 인식 등 다양한 레이블 부족 학습 과제에서 제안된 방법의 효과성을 검증하기 위해.

제안 방법

• 이론적 분석에 기반하여, 배치 출력 행렬의 프로베니우스-노름은 구분 능력을 측정하고, 행렬의 랭크는 다양성을 측정한다는 것을 밝혀냈다.
• 핵노름은 프로베니우스-노름(구분 능력)과 행렬 랭크(다양성)에 대한 볼록 근사로 사용되어, 동시에 최적화가 가능하다.
• BNM는 미니배치의 예측에 대해 분류 출력 행렬의 핵노름을 최대화하는 목적 함수로 정의된다.
• BNM 손실은 표준 크로스 엔트로피 손실과 결합되며, 준지도 학습, 도메인 적응, 개방 도메인 인식에 기존 훈련 파이프라인에 원활하게 통합될 수 있다.
• BNM 손실과 분류 손실의 균형을 맞추기 위해 하이퍼파rameter λ를 사용하며, 실험 결과 λ의 변화에 대해 뛰어난 안정성을 보였다.

실험 결과

연구 질문

• RQ1 레이블 부족 학습 상황에서 모델 예측의 구분 능력과 다양성을 동시에 최적화할 수 있는가?
• RQ2 배치 출력 행렬의 핵노름을 최대화하는 것이 엔트로피 최소화에 비해 구분 능력과 다양성을 효과적으로 향상시키는가?
• RQ3 준지도 학습 및 개방 도메인 인식에서 기존 방법인 엔트로피 최소화 및 균형 제약과 비교해 BNM의 성능은 어떠한가?
• RQ4 소수 및 알려지지 않은 카테고리에 대해 그에 대한 사전 지식 없이도 BNM이 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• I2AwA 개방 도메인 인식 벤치마크에서 BNM은 zGCN 기준으로 알려지지 않은 카테고리에서 19.0% 향상된 성능을 기록했다.
• I2AwA 데이터셋에서 BNM은 총 정확도에서 13.3% 향상되었고, zGCN 대비 평균적으로 15.2% 향상된 성능을 보였다.
• I2AwA 데이터셋에서 BNM은 최신 기준 성능을 기록한 UODTN 방법보다 4.8% 높은 성능을 기록하여, 복잡한 아키텍처 구성 없이도 효과적인 성능을 입증했다.
• BNM에서는 훈련 중에 알려지지 않은 카테고리의 예측 비율이 증가하는 경향을 보였으며, 이는 지속적인 다양성을 의미한다. 반면 엔트로피 최소화에서는 이 비율이 극적으로 감소했다.
• BNM는 훈련 전반에 걸쳐 알려진 카테고리와 알려지지 않은 카테고리 모두에서 높은 정확도를 유지하며, 모든 지표에서 EntMin 및 균형 제약을 능가했다.
• 파라미터 민감도 분석 결과, BNM는 다양한 λ 값에서도 안정적인 성능을 보였으며, 일관된 비교를 위해 λ = 2를 사용했다.