[논문 리뷰] A Reconstruction Error Formulation for Semi-Supervised Multi-task and Multi-view Learning

Buyue Qian, Xiang Wang외 1명|arXiv (Cornell University)|2012. 02. 04.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 4

한 줄 요약

이 논문은 재구성 오차 기반 프레임워크인 SSDR-MML을 제안하며, 다중 작업 및 다중 시각 학습 환경에서 동시에 차원 감소와 레이블 전파를 수행하는 반감독 학습을 위한 것이다. 레이블 전파를 희소하고 학습 가능한 가중치/이웃 행렬로 모델링하고, 교대 최적화를 통해 최적화함으로써, 다수의 시각과 작업을 가진 고차원이고 부분적으로 레이블이 부여된 데이터에서 클러스터링 및 분류 정확도를 향상시킨다. 기존 최고 수준의 베이스라인 대비 더 낮은 오차와 분산을 기록한다.

ABSTRACT

A significant challenge to make learning techniques more suitable for general purpose use is to move beyond i) complete supervision, ii) low dimensional data, iii) a single task and single view per instance. Solving these challenges allows working with "Big Data" problems that are typically high dimensional with multiple (but possibly incomplete) labelings and views. While other work has addressed each of these problems separately, in this paper we show how to address them together, namely semi-supervised dimension reduction for multi-task and multi-view learning (SSDR-MML), which performs optimization for dimension reduction and label inference in semi-supervised setting. The proposed framework is designed to handle both multi-task and multi-view learning settings, and can be easily adapted to many useful applications. Information obtained from all tasks and views is combined via reconstruction errors in a linear fashion that can be efficiently solved using an alternating optimization scheme. Our formulation has a number of advantages. We explicitly model the information combining mechanism as a data structure (a weight/nearest-neighbor matrix) which allows investigating fundamental questions in multi-task and multi-view learning. We address one such question by presenting a general measure to quantify the success of simultaneous learning of multiple tasks or from multiple views. We show that our SSDR-MML approach can outperform many state-of-the-art baseline methods and demonstrate the effectiveness of connecting dimension reduction and learning.

연구 동기 및 목표

• 기존 방법들이 반감독 학습, 다중 작업 학습, 다중 시각 학습을 별개로 다루는 한계를 해결한다.
• 반감독, 다중 작업, 다중 시각 환경에서 동시에 차원 감소와 레이블 추론을 수행하는 통합 프레임워크를 개발한다.
• 학습 가능한 데이터 구조(가중치/근접 이웃 행렬)를 통해 작업 간 및 시각 간 지식 조합을 명시적으로 모델링한다.
• 레이블 전파 그래프의 구조적 성질 분석을 통해 다중 작업 및 다중 시각 학습의 성공 여부를 정량화할 수 있는 측정 기준을 제공한다.
• 공동 학습(co-training)의 조건부 독립성 및 단일 분류기의 충분성과 같은 제약 조건을 극복하기 위해, 비순차적으로 양쪽 시각에서 동시에 학습한다.

제안 방법

• 다양한 작업과 시각 간의 데이터 포인트 간 관계를 코딩한 희소 그래프 위에서 재구성 오차 최소화 문제로 학습 문제를 수식화한다.
• 차원 감소를 위한 투영 벡터와 레이블 전파를 위한 누락된 레이블을 동시에 최적화하기 위해 교대 최적화 기법을 사용한다.
• 레이블이 어떻게 작업 간 및 시각 간 전파되고 조합되는지를 명시적으로 모델링하는 가중치/근접 이웃 행렬을 구성한다.
• Moreau-Yosida 정규화와 블록 l1-노름 최적화를 적용하여 희소성 확보 및 효율적인 기울기 기반 최적화를 가능하게 한다.
• 차원 감소와 레이블 추론을 하나의 목적 함수에 통합하여 양 측면을 동시에 최적화할 수 있도록 한다.
• 다양한 시각을 비선형적으로 융합하기 위해 그래프 라플라시안의 역행렬을 활용하며, 이는 이전의 다중 커널 방법에서의 선형 조합 제약 조건을 피한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크는 반감독, 다중 작업, 다중 시각 학습 환경에서 차원 감소와 레이블 전파를 동시에 최적화할 수 있는가?
• RQ2 다양한 작업과 시각 간 지식 조합 메커니즘을 어떻게 명시적으로 모델링하고 해석할 수 있는가?
• RQ3 제안된 방법은 부분적으로 레이블이 부여된 고차원 데이터에서 정확도와 내구성 측면에서 기존 최고 수준의 접근 방식을 초월하는가?
• RQ4 학습된 레이블 전파 그래프의 구조적 성질을 활용하여 다중 작업 및 다중 시각 학습의 성공 여부를 정량화할 수 있는가?
• RQ5 이 프레임워크는 조건부 독립성 또는 단일 시각에서의 충분한 성능을 가진 분류기가 존재한다는 강한 가정에 얼마나 의존하는가?

주요 결과

• 실제 데이터셋에서 부분적으로 레이블이 부여되고 고차원이며 다중 시각 및 다중 작업을 가진 데이터에 대해 SSDR-MML 프레임워크는 기준 모델 대비 더 낮은 오차율과 표준편차를 기록한다.
• 반복 최적화 과정은 단조롭게 향상되는 경향을 보이며, 유사한 이미지(동일한 사람 또는 속성)는 저차원 공간에서 점차 응집되고, 비유사한 이미지들은 분리된다.
• 이 방법은 누락된 레이블을 동시에 보간하고 저차원 표현을 학습함으로써 레이블이 없는 데이터를 효과적으로 처리하며, 단지 30%의 레이블 데이터만 존재할 때조차 PCA 및 PCA+LDA를 능가한다.
• 명시적인 그래프 구조 덕분에 도메인 전문가들이 어떻게 레이블이 전파되었는지, 그리고 시각 간에 어떻게 상호보완적인지 추적하고 해석할 수 있다.
• 이 프레임워크는 공동 학습의 조건부 독립성 가정이나 개별 시각에서 약한 분류기가 존재한다는 가정을 필요로 하지 않아 더 넓은 적용 범위를 가진다.
• 재구성 오차 수식을 통해 레이블 전파 그래프의 성질에 기반한 일반적이고 해석 가능한 학습 성공 측정 기준을 제공할 수 있다.