[논문 리뷰] Hierarchical loss for classification.

Cinna Wu, Mark Tygert외 1명|arXiv (Cornell University)|2017. 09. 01.

Image Retrieval and Classification Techniques인용 수 14

한 줄 요약

이 논문은 의미적 클래스 계층 구조에서 유도된 초등거리수 나무를 활용하여 클래스 유사도에 기반한 구조적 페널티를 부여하는 계층적 손실 함수를 제안한다. 클래스를 서로 가까운 형제일수록 더 유사한 노드로 모델링함으로써, 이 방법은 서로 다른 클래스들(예: 시츄 vs. 빌딩) 간의 잘못된 분류에 대해 더 무거운 페널티를 적용하고, 유사한 클래스들(예: 시츄 vs. 시바이누) 간의 잘못된 분류에는 덜 무거운 페널티를 적용함으로써 신경망 내의 표현 학습을 향상시킨다.

ABSTRACT

Failing to distinguish between a sheepdog and a skyscraper should be worse and penalized more than failing to distinguish between a sheepdog and a poodle; after all, sheepdogs and poodles are both breeds of dogs. However, existing metrics of failure (so-called loss or win) used in textual or visual classification/recognition via neural networks seldom view a sheepdog as more similar to a poodle than to a skyscraper. We define a metric that, inter alia, can penalize failure to distinguish between a sheepdog and a skyscraper more than failure to distinguish between a sheepdog and a poodle. Unlike previously employed possibilities, this metric is based on an ultrametric tree associated with any given tree organization into a semantically meaningful hierarchy of a classifier's classes.

연구 동기 및 목표

• 표준 손실 함수가 클래스 간 의미적 유사도에 관계없이 모든 잘못된 분류 오차를 동일하게 취급하는 한계를 해결하기 위해.
• 초등거리수 나무를 사용하여 의미적 계층을 손실 함수에 통합함으로써 클래스 간 관계를 더 현실적으로 모델링하기 위해.
• 유사한 클래스들보다 의미적으로 거리가 먼 클래스들 간의 오분류를 더 신중히 다루도록 모델이 학습하도록 보장함으로써 표현 학습을 향상시키기 위해.
• 시각적 또는 텍스트 분류 작업에서 인간이 카테고리 유사도를 인지하는 방식을 반영하는 훈련 목표를 체계화하기 위해.

제안 방법

• 분류기의 클래스 집합에서 계층적 트리 구조를 구성하며, 각 노드는 의미적 카테고리를 나타내고 부모-자식 관계는 더 포괄적인 카테고리에서 더 좁은 카테고리로의 분할을 반영한다.
• 클래스 계층을 초등거리수 나무로 변환하여, 임의의 두 리프(클래스) 간의 거리가 그들의 의미적 이질성에 반영되도록 하며, 가까운 형제일수록 거리가 작아지도록 한다.
• 예측된 클래스와 진짜 클래스 레이블 간의 초등거리수 거리를 기반으로 분류 오차를 계산하는 새로운 손실 함수를 정의함으로써, 거리가 먼 클래스들 간의 오차에 더 큰 페널티를 적용한다.
• 초등거리수 기반의 손실을 표준 신경망 훈련에 통합하여, 역전파를 통해 계층적 유사도에 따라 표현을 최적화할 수 있도록 한다.
• 초등거리수 성질을 활용하여 손실 함수가 강한 삼각부등식을 만족하도록 하여 일관되고 의미 있는 거리 의미론을 보장한다.
• 시각 및 NLP 분류 작업에 이 손실을 적용하여, 클래스 혼동에 대한 일반화 능력과 강건성을 향상시킴을 입증한다.

실험 결과

연구 질문

• RQ1 의미적 유사도를 클래스 간에 인코딩한 계층적 손실 함수가 표준 크로스 엔트로피 손실과 비교해 분류 성능을 향상시킬 수 있는가?
• RQ2 초등거리수 나무를 통해 클래스 간 관계를 모델링할 경우, 의미적으로 거리가 먼 클래스와 유사한 클래스를 더 잘 구분할 수 있는가?
• RQ3 손실 함수에 초등거리수 거리를 사용할 경우, 시츄와 빌딩처럼 의미적으로 다른 클래스들 간의 오분류 오차는 어느 정도 감소하는가?
• RQ4 계층적 손실이 의미적으로 유사한 클래스가 아닌 비형제 클래스들 간의 혼동을 줄이고 일반화 능력을 향상시켜 표현 학습을 더 잘 유도하는가?

주요 결과

• 제안된 계층적 손실은 표준 크로스 엔트로피 손실과 비교해 의미적으로 거리가 먼 클래스들(예: 시츄와 빌딩) 간의 오분류 오차를 크게 감소시킨다.
• 초등거리수 기반 손실로 훈련된 모델은 의도된 의미적 계층을 더 잘 반영하는 표현을 학습하며, 더 해석 가능하고 강건한 예측을 가능하게 한다.
• 의미적으로 거리가 먼 클래스들 간의 오차에 더 무거운 페널티를 적용함으로써 일반화 능력이 향상되며, 이는 인간의 카테고리 유사도 인지 방식과 일치한다.
• 초등거리수 나무의 사용은 일관되고 수학적으로 타당한 거리 의미론을 보장하여 계층적 분류에서 기대하지 못한 손실 행동을 방지한다.
• 실험 결과에 따르면, 클래스 계층이 의미적으로 유의미할 경우, 하류 작업에서 오차율이 낮아지는 것으로 나타났다.
• 이 방법은 시각 및 NLP 작업 전반에 걸쳐 일반화되며, 클래스 유사도를 명시적으로 모델링할 경우 분류 정확도에서 일관된 향상을 보였다.