[논문 리뷰] HiNet: Hierarchical Classification with Neural Network

Zhenhua Wu, Sean Saito|arXiv (Cornell University)|2017. 05. 31.

Machine Learning and Data Classification참고 문헌 2인용 수 8

한 줄 요약

HiNet는 10,000개 이상의 레이블을 가진 대규모 분류를 위한 계층적 신경망을 제안하며, 훈련 중에 공유된 다단계 비용 함수를 사용해 계층을 계층적 뉴런으로 모델링한다. 추론 시에는 효율적으로 MAP(사후 최대 확률) 경로를 계산하기 위해 게으른 다운퍼 알고리즘을 사용하여, 파라미터 복잡도가 상당히 감소한 O(n²) 대비 평탄한 네트워크의 O(n^h)로 더 높은 정확도를 달성한다.

ABSTRACT

Traditionally, classifying large hierarchical labels with more than 10000 distinct traces can only be achieved with flatten labels. Although flatten labels is feasible, it misses the hierarchical information in the labels. Hierarchical models like HSVM by \cite{vural2004hierarchical} becomes impossible to train because of the sheer number of SVMs in the whole architecture. We developed a hierarchical architecture based on neural networks that is simple to train. Also, we derived an inference algorithm that can efficiently infer the MAP (maximum a posteriori) trace guaranteed by our theorems. Furthermore, the complexity of the model is only $O(n^2)$ compared to $O(n^h)$ in a flatten model, where $h$ is the height of the hierarchy.

연구 동기 및 목표

• 10,000개 이상의 고유한 카테고리가 포함된 대규모 계층적 레이블 공간에서의 훈련 및 추론 과제를 해결한다.
• HSVM과 같은 전통적 계층 모델의 한계를 극복한다. 이는 요구되는 SVM 수가 지수적으로 증가하여 실행이 불가능해지기 때문이다.
• 훈련 및 추론 과정에서 계층적 레이블 구조를 유지하여, 평탄화된 레이블 접근 방식에서 발생하는 구조적 사전 지식 정보의 손실을 방지한다.
• 깊은 계층조차도 높은 정확도를 유지할 수 있는 확장성 있고 파라미터 효율적인 아키텍처를 개발한다.
• 이론적으로 탄탄한 추론 알고리즘을 제공하여, 게으른 다운퍼 접근 방식을 통해 계층을 거쳐 MAP 경로를 보장한다.

제안 방법

• 각 레이어에 정지 뉴런(빨간색)을 포함한 계층적 뉴럴 네트워크로 계층을 모델링하며, 각 레이블은 뉴런으로 표현된다.
• 훈련 중에 모든 계층 수준에서 통합된 비용 함수를 사용한다: $ E = \sum_{k}^{n} (\tilde{\mathbf{y}}^{(k)} - f_{\theta_k}(\mathbf{X}))^2 $, 이는 수준 간 지식 전이를 가능하게 한다.
• 통합 손실을 통한 공유된 기울기 업데이트를 통해 수준 간 전이 학습을 적용하여 일반화 능력과 계층적 일관성을 향상시킨다.
• 추론 시 각 레이어에서 사후 확률 $ \mathbf{y}^{(k)} $ 를 계산한 후, 다운퍼 알고리즘을 적용해 게으르게 MAP 경로를 재구성한다.
• 다운퍼 알고리즘은 $ A = \arg\max_a y_b^{(l)} y_a^{(l-1)} $ 를 통해 부모 할당을 계산하며, 레이어별로 추적과 확률을 갱신한다.
• 최종 MAP 경로는 모든 레이어에서 정지 뉴런에 도달하는 경로 중 가장 높은 확률을 가진 것으로 선택된다: $ L = \arg\max_l y_s^{(l)} $.

실험 결과

연구 질문

• RQ1 신경망 아키텍처가 10,000개 이상의 클래스를 가진 대규모 계층적 레이블 공간을 효과적으로 모델링하면서도 구조적 관계를 유지할 수 있는가?
• RQ2 다단계 통합 손실 함수는 평탄한 모델이나 노드 기반 계층 모델 대비 성능 향상에 기여하는가?
• RQ3 다운퍼와 같은 게으른 추론 알고리즘이 계층적 분류 설정에서 MAP 경로를 보장할 수 있는가?
• RQ4 계층 깊이가 증가함에 따라 HiNet의 파라미터 복잡도는 평탄한 모델 대비 어떻게 스케일링되는가?
• RQ5 HiNet은 대규모 계층적 데이터셋에서 평탄한 신경망보다 정확도는 높이고 파라미터 수는 상당히 줄여가며 성능을 뛰어나게 하는가?

주요 결과

• HiNet은 11,947개 클래스를 가진 DMOZ 데이터셋에서 41.4%의 정확도를 달성하여 기준 평탄한 네트워크를 능가했다.
• HiNet의 파라미터 수는 $ O(kn + hn^2) $ 로 다항식 스케일링을 보이며, 반면 평탄한 네트워크는 $ O(kn^h) $ 로 계층 높이 $ h $ 에 대해 지수적 스케일링을 보인다.
• 다운퍼 알고리즘은 정리 2.1–2.3에 의해 보편적으로 MAP 경로를 찾는다. 이는 더 긴 경로가 더 높은 사후 확률을 가질 수 없음을 보장한다.
• 통합 손실 함수를 통한 효과적인 수준 간 지식 전이 덕분에, HiNet은 깊은 계층조차도 높은 정확도를 유지한다.
• 특히 깊거나 넓은 계층에서 파라미터 효율성이 뛰어나, 평탄한 모델이 지수적 파라미터 증가로 인해 실행이 불가능해지는 상황에서 유리하다.
• 각 레이어에 정지 뉴런을 사용함으로써 경로 종료의 유연성과 다양한 길이의 계층적 경로 추론을 지원한다.