[논문 리뷰] Graph Convolutional Networks for Classification with a Structured Label Space

Meihao Chen, Zhuo-Ru Lin외 1명|arXiv (Cornell University)|2017. 10. 12.

Machine Learning and Data Classification참고 문헌 28인용 수 17

한 줄 요약

이 논문은 다중 분류에서 의미적 유사도를 향상시키기 위해 알려진 레이블 그래프 구조를 활용하는 그래프 컨volution 네트워크(GCN) 보강 신경망 분류기를 제안한다. 특히 상위-k 예측의 의미적 관련성을 향상시키는 데 초점을 맞춘다. 입력과 클래스 표현을 연결하여 스택형 GCN 레이어를 적용함으로써, 구조적 관계를 고려한 레이블별 특징을 학습한다. 이는 그래프 이론적 지표인 예측 직경과 진짜 레이블까지의 거리에서 기준 모델보다 뛰어난 성능을 보이며, 특히 문서 분류 및 물체 인식 작업에서 유의미하다.

ABSTRACT

It is a usual practice to ignore any structural information underlying classes in multi-class classification. In this paper, we propose a graph convolutional network (GCN) augmented neural network classifier to exploit a known, underlying graph structure of labels. The proposed approach resembles an (approximate) inference procedure in, for instance, a conditional random field (CRF). We evaluate the proposed approach on document classification and object recognition and report both accuracies and graph-theoretic metrics that correspond to the consistency of the model's prediction. The experiment results reveal that the proposed model outperforms a baseline method which ignores the graph structures of a label space in terms of graph-theoretic metrics.

연구 동기 및 목표

• 표준 다중 분류기의 레이블 간 구조적 관계를 忽시하는 한계를 해결하기 위해.
• 분류 과정에 알려진 레이블 관계를 통합하여 상위-k 예측의 관련성을 향상시키기 위해.
• 반복적인 확률적 추론을 사용하지 않고도 구조적 추론을 근사하는 딥 러닝 프레임워크를 개발하기 위해.
• 계층적 또는 상관관계가 있는 레이블을 가진 작업, 예를 들어 문서 분류 및 물체 인식과 같은 과제에서 모델을 평가하기 위해.
• 기존 정확도 외에 예측의 의미적 일관성을 평가하기 위해 그래프 이론적 지표를 도입하기 위해.

제안 방법

• 모델은 레이블 공간을 그래프 구조로 처리하며, 노드는 클래스를 나타내고 간선은 알려진 관계를 코딩한다.
• 입력 특징과 클래스 임베딩을 연결하여 다중 GCN 레이어를 통과시켜 레이블 인식 특징을 생성한다.
• 최종 분류기는 입력 표현과 GCN 처리된 클래스 임베딩 간의 내적곱 기반 점수 함수를 사용한다.
• 전체 네트워크는 표준 역전파를 통해 엔드 투 엔드로 훈련되며, CRF나 MRF에서 사용하는 복잡한 추론 절차를 피한다.
• 레이블 그래프를 통해 메시지 전파를 구현하여 구조적 정보를 클래스 표현에 전파한다.
• 예측 직경과 진짜 레이블까지의 거리와 같은 그래프 이론적 지표를 사용하여 상위-k 예측의 의미적 일관성을 평가한다.

실험 결과

연구 질문

• RQ1 레이블 구조를 활용함으로써 GCN 보강 신경망이 다중 분류에서 상위-k 예측의 의미적 관련성을 향상시킬 수 있는가?
• RQ2 정확도와 그래프 이론적 지표 측면에서 제안된 모델은 표준 MLP 및 CRF 기반 모델보다 어떻게 비교되는가?
• RQ3 모델이 구조 인식 없이 훈련되었을 때와 비교해, 레이블 그래프 구조가 예측 품질에 얼마나 큰 영향을 미치는가?
• RQ4 레이블 그래프를 통해 메시지 전파를 수행하면 독립적인 클래스 임베딩보다 더 일관되고 의미적으로 일관된 예측을 이끌 수 있는가?
• RQ5 제안된 방법은 워드넷 계층 또는 정의 기반 유사도 그래프와 같은 다양한 유형의 레이블 그래프에 일반화 가능한가?

주요 결과

• GCNTD 모델은 상위-k 정밀도와 재현율에서 표준 MLP 및 MLP-CRF 기준 모델보다 유의미하게 뛰어나며, k가 증가할수록 더 나은 의미적 유사도 예측 클러스터링을 보여준다.
• 문서 분류 데이터셋에서 GCNTD는 상위-1 정확도 83%와 상위-10 정확도 95%를 기록했으며, 예측 직경은 2.40, 진짜 레이블까지의 평균 거리는 1.35였다.
• 완전 연결된 레이블 그래프를 가정하는 GCNTD-FC 버전은 가장 높은 정확도(84%)와 최고의 그래프 이론적 지표를 확보하여 메시지 전파의 유용성을 확인했다.
• 물체 인식 과제에서는 GCNTD가 MLP보다 그래프 이론적 지표인 직경과 거리에서 향상되었지만, 표준 정확도에서는 약간 더 높은 성능을 보였다.
• 앙상블 방법은 GCNTD의 성능을 MLP보다 더 크게 향상시켰으며, 특히 상위-1 및 상위-10 정확도에서 더 강한 일반화 능력을 보였다.
• 모델의 예측은 예측 직경이 낮고 진짜 레이블까지의 거리가 작다는 점에서 의미적으로 진짜 레이블에 더 가까웠으며, 특히 문서 분류 과제에서 뚜렷했다.