[논문 리뷰] Joint Learning of Set Cardinality and State Distribution

S. Hamid Rezatofighi, Anton Milan외 3명|arXiv (Cornell University)|2017. 09. 13.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 단일 엔드 투 엔드 네트워크를 사용하여 동시에 집합의 기수와 상태 분포를 예측하는 공동 딥러닝 프레임워크를 제안한다. 디리클레-카테고리컬 손실을 활용하여 원칙적이고 순열 불변인 집합 예측을 구현한다. 이 방법은 PASCAL VOC 및 MS COCO 데이터셋에서 다중 레이블 이미지 분류 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 기수 추정 오차를 감소시킨다.

ABSTRACT

We present a novel approach for learning to predict sets using deep learning. In recent years, deep neural networks have shown remarkable results in computer vision, natural language processing and other related problems. Despite their success, traditional architectures suffer from a serious limitation in that they are built to deal with structured input and output data, i.e. vectors or matrices. Many real-world problems, however, are naturally described as sets, rather than vectors. Existing techniques that allow for sequential data, such as recurrent neural networks, typically heavily depend on the input and output order and do not guarantee a valid solution. Here, we derive in a principled way, a mathematical formulation for set prediction where the output is permutation invariant. In particular, our approach jointly learns both the cardinality and the state distribution of the target set. We demonstrate the validity of our method on the task of multi-label image classification and achieve a new state of the art on the PASCAL VOC and MS COCO datasets.

연구 동기 및 목표

• 기존 딥러닝 모델이 고정 크기의 순서 있는 출력을 가정하는 데서 비롯하는 한계를 해결하기 위해, 자연스럽게 집합으로 모델링되는 문제에 적합하지 않은 점을 다루기 위해.
• 집합의 원소 수(기수)와 원소의 분포(상태)를 별도로 분리된 네트워크 없이 공동으로 학습할 수 있는 통합 프레임워크를 개발하기 위해.
• 유한 집합 통계와 점 프로세스를 기반으로 한 원칙적인 확률적 공식화에 기반해, 최적의 공동 추론을 가능하게 하기 위해 MAP 추정을 통한 최적화를 수행하기 위해.
• 기수 예측 및 상태 예측 구성 요소 간의 파라미터 공유를 통해 모델 복잡도를 감소시키고 일반화 성능을 향상시키기 위해.
• 특히 다중 레이블 이미지 분류와 같은 실제 집합 예측 작업에서의 효과성을 입증하기 위해.

제안 방법

• 모델은 단일 공유 가중치 세트를 사용하여 딥 네ural 네트워크를 통해 목표 집합의 기수와 상태 분포를 공동으로 예측한다.
• 출력 집합 예측을 유한 집합 통계 문제로 설정하며, 기수와 상태의 결합 분포를 디리클레-카테고리컬 사전 분포를 사용해 모델링한다.
• 기존의 독립적인 손실을 대체하기 위해 기존의 기술보다 더 나은 성능을 내는 새로운 디리클레-카테고리컬(DC) 손실을 도입하여 기수 및 상태 예측을 공동 최적화한다.
• 추론 단계에서는 전체 집합 공간에 대한 MAP 추정을 수행하여 단일 최적 단계에서 가장 가능성 높은 집합을 생성한다.
• 프레임워크는 엔드 투 엔드로 훈련 가능하며, 출력이 본질적으로 순서 없는 점에서 순열 불변성을 유지한다.
• 표준 벤치마크인 PASCAL VOC 및 MS COCO를 사용하여 평가하며, RNN 기반, 소프트맥스, 이진 크로스엔트로피 기반 베이스라인과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 별도의 네트워크나 순차적 추론 없이 기수와 상태 분포를 공동으로 엔드 투 엔드로 학습할 수 있는가?
• RQ2 기수와 상태 분포의 공동 학습이 독립적 학습에 비해 예측 정확도 향상과 오차 감소에 얼마나 기여하는가?
• RQ3 제안된 디리클레-카테고리컬 손실이 이진 크로스엔트로피나 음수 이항분포와 같은 표준 손실에 비해 집합 예측 작업에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 전체 집합 공간에 대한 공동 MAP 추론이 히وري스틱한 상위-k 선택이나 순차적 생성에 비해 더 나은 결과를 도출하는가?
• RQ5 이 프레임워크는 다중 레이블 이미지 분류와 같이 실제 세계의 집합 예측 문제에 일반화되어 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• BCE-DC 손실을 사용한 제안된 공동 딥 세트 네트워크(JDS)는 PASCAL VOC에서 평균 절대 기수 오차 0.31±0.54를 기록했으며, 기수를 별도로 학습한 경우의 0.33±0.53보다 略적으로 우수한 성능이다.
• PASCAL VOC 데이터셋에서 JDS(BCE-DC) 모델은 이전 최신 기술 수준의 딥 세트 네트워크를 포함한 모든 F1 점수 지표에서 모든 베이스라인을 압도적으로 앞서며 성능을 냈다.
• MS COCO 데이터셋에서 JDS(BCE-DC) 모델은 인스턴스 F1 점수 75.6을 기록하여 이전 최고 성능 기록인 74.6을 초월하며 새로운 최신 기술 수준을 수립했다.
• 그림 3의 정성적 결과는 JDS 접근 방식이 베이스라인 모델 대비 잡음 신호와 기수 오차를 모두 감소시킨다.
• 공동 공식화 덕분에 이전 방법이 기수 및 상태 예측을 위한 별도의 VGG 네트워크 두 개를 훈련한 데 반해, 이 방법은 단일 훈련 단계로 최종 모델을 생성할 수 있었다.
• 이 방법은 분류 및 기수 추정 모두에서 일관된 성능 향상을 보이며, 공동 최적화 및 공유 파라미터 학습의 이점이 확인되었다.