[논문 리뷰] Every Untrue Label is Untrue in its Own Way: Controlling Error Type with the Log Bilinear Loss

Yehezkel S. Resheff, Amit Mandelbaum외 1명|arXiv (Cornell University)|2017. 04. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 12인용 수 7

한 줄 요약

이 논문은 깊이 학습에서 오류 유형을 조절하기 위해 진동형 손실 함수와 로그-진동형 손실 함수를 도입한다. 이는 진정한 레이블과 예측 레이블 양쪽에 기반하여 잘못 분류를 비용 함수로 차별화하여 처벌함으로써 이루어진다. 이는 전체 정확도를 유지하면서도 계층적 데이터셋인 CIFAR-100과 같이 잘못된 분류 오류의 비율을 올바른 슈퍼클래스 내에 국한시키는 데 성공한다. 특히 로그-진동형 손실을 사용할 경우 최대 36.58%의 오류가 정확한 슈퍼클래스 내에 국한된다.

ABSTRACT

Deep learning has become the method of choice in many application domains of machine learning in recent years, especially for multi-class classification tasks. The most common loss function used in this context is the cross-entropy loss, which reduces to the log loss in the typical case when there is a single correct response label. While this loss is insensitive to the identity of the assigned class in the case of misclassification, in practice it is often the case that some errors may be more detrimental than others. Here we present the bilinear-loss (and related log-bilinear-loss) which differentially penalizes the different wrong assignments of the model. We thoroughly test this method using standard models and benchmark image datasets. As one application, we show the ability of this method to better contain error within the correct super-class, in the hierarchically labeled CIFAR100 dataset, without affecting the overall performance of the classifier.

연구 동기 및 목표

• 다중 분류에서 표준 교차 엔트로피 손실이 레이블 정체성과 관계없이 모든 잘못된 분류를 동일하게 취급하는 한계를 해결하기 위해.
• 정답 레이블과 잘못된 레이블 양쪽에 기반하여 오류를 차별화하여 처벌하는 손실 함수를 개발하여 오류 분포를 제어할 수 있도록 하기 위해.
• 이러한 손실 함수가 계층적 레이블링 체계에서 잘못된 분류 오류를 정확한 슈퍼클래스로 국한시킬 수 있는지 평가하기 위해.
• 특히 드문 클래스나 소수의 샘플만 있는 클래스에서의 저데이터 환경에서 제안된 손실 함수의 효과성을 평가하기 위해.

제안 방법

• 표준 교차 엔트로피 손실에 추가적으로 적용되는 이차적 구성요소로 진동형 손실을 제안하며, 이는 진정한 레이블과 예측 레이블 양쪽에 의존한다.
• 진동형 손실을 진정한 레이블과 잘못된 레이블의 함수로 정의하며, 원하는 오류 선호도를 코딩하는 학습 가능한 또는 고정된 처벌 행렬을 사용한다.
• 출력 확률에 로그 변환을 적용한 후 오류 처벌을 계산하는 로그-진동형 손실 버전을 도입한다.
• 표준 교차 엔트로피 손실과 진동형 또는 로그-진동형 오류 처벌 구성요소를 균형 잡기 위해 무게 매개변수 α를 사용한다.
• 특정 잘못된 레이블에서의 오류를 더 강하게 처벌하기 위해 마스크 기반 접근 방식을 사용한다.
• 표준 벤치마크인 MNIST, CIFAR-10, CIFAR-100에서 딥 신경망의 엔드 투 엔드 학습 기간 동안 손실 함수를 적용한다.

실험 결과

연구 질문

• RQ1 오류 유형을 구분함으로써 수정된 손실 함수가 딥 신경망에서 잘못된 분류 오류의 분포를 효과적으로 제어할 수 있는가?
• RQ2 진동형 및 로그-진동형 손실 함수가 전체 분류 정확도를 유지하면서도 오류 패tern을 특정 타겟 레이블 쪽으로 이동시킬 수 있는 정도는 어느 정도인가?
• RQ3 이러한 손실 함수를 사용하여 계층적 분류 설정(예: CIFAR-100)에서 오류를 정확한 슈퍼클래스로 국한시킬 수 있는가?
• RQ4 특히 어떤 클래스의 학습 데이터가 심각하게 제한된 저데이터 환경에서 이러한 손실 함수의 효과는 어떠한가?
• RQ5 낮은 신뢰도의 잘못된 분류가 발생하는 상황에서 로그-진동형 버전이 진동형 손실보다 우수한 성능을 보일 수 있는가?

주요 결과

• CIFAR-100 데이터셋에서 α=0.5일 때 진동형 손실은 정확한 슈퍼클래스 내 오류 비율을 34.61%로 높였고, 로그-진동형 손실은 36.58%를 기록했다.
• 전체 오류 수가 약간 증가했음에도 불구하고, 로그-진동형 손실은 진동형 손실보다 슈퍼클래스 내 오류 국소화 능력에서 뛰어난 성능을 보였다.
• 소수 샘플 실험에서, 클래스당 10개 또는 50개의 학습 예제만 존재할 경우, α=0.5일 때 진동형 손실은 소수 샘플 클래스의 슈퍼클래스 정확도를 베이스라인 대비 49.42%에서 50.14%로 향상시켰다.
• 학습 중 어떤 클래스의 예제도 사용하지 않았을 경우(N=0), 여전히 49.42%의 테스트 예측이 정확한 슈퍼클래스에 할당되었으며, 이는 강력한 슈퍼클래스 구조 학습 능력을 시사한다.
• 계층적 CIFAR-100 설정에서 진동형 손실이 로그-진동형 손실보다 우수한 성능을 보였는데, 이는 후자의 낮은 신뢰도 예측에 대한 민감도 때문일 가능성이 높다.
• 제안된 손실 함수는 오류 분포에 대한 세밀한 제어를 가능하게 하면서도 전체 모델 정확도를 유지하거나 약간 향상시켰다.