[논문 리뷰] A hierarchical loss and its problems when classifying non-hierarchically

Cinna Wu, Mark Tygert외 1명|arXiv (Cornell University)|2017. 09. 01.

Image Retrieval and Classification Techniques참고 문헌 16인용 수 8

한 줄 요약

이 논문은 고유한 계층적 구조(예: 분류계통수)를 활용하여, 유사한 클래스들(예: 샤페르드독 vs. 풀독) 사이의 오분류보다는 유사도가 낮은 클래스들(예: 샤페르드독 vs. 고층건물) 사이의 오분류에 더 높은 손실을 적용하는 계층적 손실 함수를 제안한다. 비록 계층적 손실이 분류기 성능 평가에 있어 우월한 지표가 되지만, 표준 확률적 경사 하강법(Stochastic Gradient Descent, SGD)을 사용하고 초기화를 무작위로 설정할 경우 이 손실을 효과적으로 최소화하기 어려워, 이론적으로는 탄탄한 기반을 지닌다 할지라도 최적화 목표로써의 유용성이 제한된다.

ABSTRACT

Failing to distinguish between a sheepdog and a skyscraper should be worse and penalized more than failing to distinguish between a sheepdog and a poodle; after all, sheepdogs and poodles are both breeds of dogs. However, existing metrics of failure (so-called "loss" or "win") used in textual or visual classification/recognition via neural networks seldom leverage a-priori information, such as a sheepdog being more similar to a poodle than to a skyscraper. We define a metric that, inter alia, can penalize failure to distinguish between a sheepdog and a skyscraper more than failure to distinguish between a sheepdog and a poodle. Unlike previously employed possibilities, this metric is based on an ultrametric tree associated with any given tree organization into a semantically meaningful hierarchy of a classifier's classes. An ultrametric tree is a tree with a so-called ultrametric distance metric such that all leaves are at the same distance from the root. Unfortunately, extensive numerical experiments indicate that the standard practice of training neural networks via stochastic gradient descent with random starting points often drives down the hierarchical loss nearly as much when minimizing the standard cross-entropy loss as when trying to minimize the hierarchical loss directly. Thus, this hierarchical loss is unreliable as an objective for plain, randomly started stochastic gradient descent to minimize; the main value of the hierarchical loss may be merely as a meaningful metric of success of a classifier.

연구 동기 및 목표

• 신경망 분류에서 클래스 간 의미적 유사도를 고려하지 않는 표준 크로스 엔트로피 손실의 한계를 해결하기 위해.
• 분류 클래스 간 사전 지식 기반의 의미적 관계(예: 분류계통수 등)를 반영한 계층적 손실 함수를 개발하기 위해.
• 이 계층적 손실을 최적화함으로써 표준 크로스 엔트로피 대비 분류 성능이 향상되는지, 특히 데이터가 적은 환경에서 성능 향상 여부를 평가하기 위해.
• 표준 확률적 경사 하강법(Stochastic Gradient Descent)을 사용하고 초기화를 무작위로 설정할 경우, 계층적 손실을 효과적으로 최소화할 수 있는지 여부를 조사하기 위해.
• 계층적 손실이 표준 지표보다 분류기 성공 여부를 더 의미 있게 반영할 수 있는가를 판단하기 위해.

제안 방법

• 이 방법은 트리 구조의 분류 계층에서 루트에서 진짜 클래스 리프까지의 경로를 따라 노드 확률의 가중합으로 계층적 승리(이하 '히에라르키컬 윙')를 정의한다.
• 히에라르키컬 손실은 이 히에라르키컬 윙의 로그의 음수로 정의되며, 최적화를 위한 미분 가능한 목표 함수가 된다.
• 트리의 구조는 초원형 트리(ultrametric tree)로 제약되며, 이는 모든 리프가 루트로부터 동일한 거리에 있도록 보장함으로써 일관된 의미적 거리 측정을 보장한다.
• 노드 확률은 각 노드 아래의 리프 확률의 합으로 계산되며, 이는 예측의 계층적 집계를 가능하게 한다.
• 이 방법은 RCV1-v2, Yahoo Answers, DBpedia, LSHTC1 등 사전에 정의된 분류 계층이 존재하는 여러 데이터셋에 적용되었다.
• 하이퍼파라미터 조정을 위해 학습률과 에포크 수를 조절하기 위한 그리드 서치를 사용하여 표준 확률적 경사 하강법과 역전파를 사용해 학습을 수행하였다.

실험 결과

연구 질문

• RQ1 계층적 손실을 최적화함으로써 표준 크로스 엔트로피 손실 대비 분류 정확도가 향상되는가? 특히 데이터가 적은 환경에서 성능 향상 여부는?
• RQ2 무작위 초기화 상태에서 표준 확률적 경사 하강법으로 계층적 손실을 효과적으로 최소화할 수 있는가?
• RQ3 계층적 손실은 굵은 수준의 분류를 직접 최적화하는 것과 비교해 성능에서 어떤가?
• RQ4 최적화 성능과는 별개로 계층적 손실이 얼마나 의미 있는 성공 지표로 기능하는가?
• RQ5 다양한 데이터셋과 계층에서 계층적 손실이 성능 향상에 기여하는 데 영향을 주는 요소는 무엇인가?

주요 결과

• 계층적 손실을 최적화함으로써 굵은 수준의 분류 정확도가 직접 굵은 수준 정확도를 최적화하는 것과 거의 동일한 정도로 향상되었으며, 이는 표본 5에서 확인되었다.
• 일부 데이터셋(예: 표본 2)에서는 계층적 손실을 사용한 학습이 크로스 엔트로피 대비 모든 지표에서 성능 향상을 보였지만, 다른 데이터셋(예: 표본 1)에서는 성능이 열 劣화되었다.
• 표본 3과 4에서는 계층적 손실이 유의미한 향상이 없었으며, 이는 데이터셋 간 일관되지 않은 이점이 있음을 시사한다.
• 표본 6에서는 계층적 손실이 대부분의 지표에서 성능을 떨어뜨렸지만, 굵은 수준 정확도는 직접 굵은 수준 최적화와 거의 동일한 수준으로 향상되었다.
• 이론적으로는 유리한 점이 많지만, 표준 SGD와 무작위 초기화 조건에서는 계층적 손실이 최적화 목표로써는 거의 효과적이지 않아 국소 최적점에 갇힐 가능성이 있음을 시사한다.
• 최적화 목표로는 실패했지만, 의미적 민감도를 고려하여 분류기 성능 평가에 있어 여전히 가치 있는 성과 지표로 남아 있다.