[논문 리뷰] Leveraging Class Hierarchies with Metric-Guided Prototype Learning

Vivien Sainte Fare Garnot, Loïc Landrieu|arXiv (Cornell University)|2020. 07. 06.

Anomaly Detection Techniques and Applications참고 문헌 46인용 수 14

한 줄 요약

이 논문은 계층적 거리의 특성을 반영하도록 프로토타입 임bedding를 정규화하는 방식으로 사전 정의된 클래스 계층을 프로토타입 네트워크에 통합하는 메트릭 유도 프로토타입 학습 방법을 제안한다. 척도에 의존하지 않는 왜곡 손실을 사용해 특징 추출과 프로토타입 배치를 동시에 최적화함으로써, 특히 소규모 데이터셋과 많은 형제 클래스를 가진 복잡한 계층에서 평균 계층적 비용과 오차율을 감소시킨다.

ABSTRACT

In many classification tasks, the set of target classes can be organized into a hierarchy. This structure induces a semantic distance between classes, and can be summarised under the form of a cost matrix, which defines a finite metric on the class set. In this paper, we propose to model the hierarchical class structure by integrating this metric in the supervision of a prototypical network. Our method relies on jointly learning a feature-extracting network and a set of class prototypes whose relative arrangement in the embedding space follows an hierarchical metric. We show that this approach allows for a consistent improvement of the error rate weighted by the cost matrix when compared to traditional methods and other prototype-based strategies. Furthermore, when the induced metric contains insight on the data structure, our method improves the overall precision as well. Experiments on four different public datasets - from agricultural time series classification to depth image semantic segmentation - validate our approach.

연구 동기 및 목표

• 클래스 계층을 통해 의미적 오류 비용을 모델링하여 분류의 신뢰성을 향상시키기 위해.
• 딥러닝에 계층적 구조를 통합하여 평균 계층적 비용(AHC)과 오차율(ER)을 감소시키기 위해.
• 모델 복잡도를 증가시키지 않고 계층적 거리에 따라 프로토타입과 특징 추출기를 함께 학습시킬 수 있도록 하기 위해.
• 전문가가 정의한 분류 체계가 특히 훈련 데이터가 제한된 경우 일반화 성능을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 계층적 메트릭 공간과 프로토타입의 임베딩 공간 사이의 척도에 의존하지 않는 왜곡 측정법을 도입한다.
• 이 왜곡 기반의 매끄럽고 미분 가능한 정규화 항을 손실 함수에 추가하여 임베딩 공간 내 프로토타입의 위치를 유도한다.
• 정규화 항은 관련성이 높은 클래스(예: 분류 체계에서 형제 관계에 있는 클래스)의 프로토타입이 임베딩 공간에서 더 가까이 위치하도록 보장하여 낮은 오류 비용을 반영한다.
• 모든 백본 네트워크와 호환되며, 추가 파라미터나 계산 비용이 없이도 적용 가능하다.
• 척도에 의존하지 않는 수식을 통해 왜곡의 척도가 자동으로 조정되어 수동 하이퍼파라미터 튜닝이 필요 없다.
• 프로토타입과 특징 임베딩이 함께 최적화되어 데이터로부터 의미 있는 계층적 구조를 학습할 수 있다.

실험 결과

연구 질문

• RQ1 사전 정의된 클래스 계층을 프로토타입 학습에 통합하면 예측의 평균 계층적 비용(AHC)을 줄일 수 있는가?
• RQ2 메트릭 유도 프로토타입 학습은 특히 소규모 데이터셋에서 일반화 성능을 향상시키는가?
• RQ3 프로토타입과 특징 추출기를 함께 최적화하는 방식이 계층 분류에서 단계적 훈련 방식과 비교해 어떻게 다를까?
• RQ4 계층의 구조(예: 형제 수)가 이 방법의 성능 향상에 얼마나 영향을 미치는가?
• RQ5 이 방법은 AHC와 표준 정확도(무게 없는 오차율)를 동시에 향상시킬 수 있는가?

주요 결과

• iNaturalist-19에서 이 방법은 기준 모델 대비 오차율을 0.9점 감소시켰으며, 최고의 기준 모델의 성능 향상의 절반 수준에 해당한다.
• CIFAR100, NYUDv2, S2-Agri, iNaturalist-19의 네 가지 데이터셋 전반에서 제안된 방법이 AHC를 일관되게 감소시켰다.
• 소규모 훈련 세트(예: iNaturalist-19의 10%)에서 이 방법은 기준 모델과 프로토타입을 사용한 기준 모델 모두를 초월하여 뛰어난 데이터 효율성을 보였다.
• 척도에 의존하지 않는 왜곡 수식이 iNaturalist-19에서 형제 간의 가까움과 다른 클래스 프로토타입 간의 상호 반발력 간의 갈등을 완화하여 성능 향상을 이끌었다.
• 프로토타입과 특징 추출기를 함께 훈련시킨 결과, 고정된 프로토타입을 사용한 미세조정 대비 iNaturalist-19에서 오차율이 5점 감소했다.
• 이 방법은 AHC와 표준 정확도를 동시에 향상시켜 계층적 사전 지식이 비용 인식 평가를 넘어서 일반화 성능 향상에 기여한다는 점을 시사한다.