[논문 리뷰] Multiview Boosting by Controlling the Diversity and the Accuracy of View-specific Voters

Anil Goyal, Emilie Morvant외 2명|arXiv (Cornell University)|2018. 08. 16.

Internet Traffic Analysis and Secure E-voting참고 문헌 56인용 수 10

한 줄 요약

이 논문은 다중 시각 학습에서 정확도와 다양성을 균형 잡는 다중 시각 C-경계를 최소화함으로써 시각별 투표 가중치와 시각 수준 가중치를 공동 최적화하는 새로운 다중 시각 부스팅 알고리즘인 PB-MVBoost를 제안한다. PAC-베이지안 프레임워크를 기반으로 하여, 상태의 성능을 달성하며 MNIST 및 RCV1 데이터셋에서 기존의 융합 기반 접근법을 능가한다.

ABSTRACT

In this paper we propose a boosting based multiview learning algorithm, referred to as PB-MVBoost, which iteratively learns i) weights over view-specific voters capturing view-specific information; and ii) weights over views by optimizing a PAC-Bayes multiview C-Bound that takes into account the accuracy of view-specific classifiers and the diversity between the views. We derive a generalization bound for this strategy following the PAC-Bayes theory which is a suitable tool to deal with models expressed as weighted combination over a set of voters. Different experiments on three publicly available datasets show the efficiency of the proposed approach with respect to state-of-art models.

연구 동기 및 목표

• 다중 시각 학습에서 여러 시각을 융합하는 과제를 해결하면서 분류기의 정확도와 시각 간 다양성을 균형 잡는 것.
• 시각별 투표자와 시각 수준에 대한 이중 계층 구조의 사전 및 사후 분포를 포함한 다중 시각 환경에 PAC-베이지안 이론을 확장하는 것.
• 일반화 경계 인식 오차 추정치를 최소화하기 위해 반복적으로 최적의 시각별 투표자 가중치와 시각 수준 가중치를 학습하는 부스팅 기반 알고리즘을 개발하는 것.
• 기본 벤치마크 데이터셋에서 최신 기술의 다중 시각 학습 모델들과의 비교를 통해 제안된 방법을 경험적으로 검증하는 것.

제안 방법

• 이 방법은 이중 계층 베이지안 구조를 활용한다: 시각별 투표자(\(Q_v\))와 시각(\(\rho\))에 대한 사전 및 사후 분포를 설정하며, 시각 수준 중요도를 모델링하기 위해 초사전(\(\pi\))과 초사후(\(\rho\))를 사용한다.
• 예측이 시각별 사후 및 시각 수준 사후에 의해 가중되는 다중 시각 다수결 분류기로 설정되며, 이는 정확도와 다양성의 공동 최적화를 가능하게 한다.
• 일반화 오차의 상한선인 다중 시각 C-경계를 최소화함으로써, 시각별 분류기의 정확도와 시각 간 다양성 간의 명시적 트레이드오프를 실현한다.
• 이중 계층 모델에 대해 PAC-베이지안 일반화 경계를 유도하여 앙상블 분류기 성능에 대한 이론적 보장을 제공한다.
• 학습 과정은 부스팅 유사 반복 전략을 따르며, 각 반복 단계에서 현재 시각에서의 성능에 기반해 시각별 투표자 가중치를 업데이트하고, 다중 시각 C-경계를 최소화함으로써 시각 수준 가중치를 업데이트한다.
• Jensen의 부등식과 KL 발산을 사용하여 기대 손실을 경계함으로써, PAC-베이지안 프레임워크 내에서 계산 가능하게 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 두 개 이상의 시각을 포함하는 다중 시각 학습 환경에 대해, 시각별 및 시각 수준의 불확실성을 포함한 PAC-베이지안 프레임워크를 효과적으로 확장할 수 있는가?
• RQ2 이론적으로 탄탄한 일반화 경계를 사용하여 다중 시각 학습에서 정확도와 다양성 간의 트레이드오프를 공식적으로 최적화할 수 있는가?
• RQ3 부스팅 전략을 통해 시각별 투표자 가중치와 시각 수준 가중치를 공동으로 학습하는 것이, 표준 융합 방법에 비해 일반화 성능과 성능 향상에 기여하는가?
• RQ4 제안된 PB-MVBoost 알고리즘이 학습 중 다중 시각 C-경계를 어느 정도 최소화하는가? 이 최소화 정도가 테스트 정확도와 어떻게 관련이 있는가?
• RQ5 불균형 데이터 설정에서 기존의 최신 기술 다중 시각 학습 모델들과 비교해 PB-MVBoost는 성능 면에서 어느 정도 뛰어나며, 어떤가?

주요 결과

• PB-MVBoost는 반복 과정 동안 다중 시각 C-경계를 경험적으로 최소화하며, 정확도-다양성 트레이드오프의 효과적인 최적화를 나타낸다.
• MNIST 1 및 MNIST 2 데이터셋에서 PB-MVBoost는 Fusion_all^Cq 기준선에 비해 뛰어난 분류 정확도를 달성하여, 다중 시각 학습에서의 효과성을 입증한다.
• RCV1/RCV2 데이터셋에서 PB-MVBoost는 Fusion_all^Cq 방법을 능가하며, 특히 클래스 불균형 문제 처리에서 뛰어난 성능을 보이며 데이터 분포 변화에 대한 강건성을 보인다.
• PAC-베이지안 경계를 활용함으로써 알고리즘이 강력한 일반화 성능 유지를 하며, 관찰된 성능 향상에 대한 이론적 근거를 제공한다.
• 이중 계층 계층적 구조는 시각별 정보와 시각 간 정보를 더 잘 제어할 수 있게 하여, 더 신뢰할 수 있고 정확도가 높은 앙상블 예측을 가능하게 한다.