[논문 리뷰] Classification of Sets using Restricted Boltzmann Machines

Jérôme Louradour, Hugo Larochelle|arXiv (Cornell University)|2011. 03. 25.

Music and Audio Processing참고 문헌 15인용 수 14

한 줄 요약

이 논문은 문서나 이미지 세그먼트와 같은 순서가 없고 길이가 변하는 벡터 집합—예를 들어 이메일 내의 여러 문서—을 다중분류하기 위해 제한된 볼츠만 기계(Restricted Boltzmann Machines, RBMs)의 새로운 변종을 제안한다. 이는 잠재 변수를 통해 집합 수준의 표현을 모델링함으로써 이루어진다. 주요 기여는 부분적 증거가 집합의 요소들 사이에서 존재하는 상황을 다룰 수 있도록 설계된 RBM 확장 모델들인 ClassSetRBM-OR 및 ClassSetRBM-AND를 제안한 것으로, 여러 인스턴스 학습(MIL) 벤치마크와 실제 이메일 분류 작업에서 경쟁적인 성능을 달성한다.

ABSTRACT

We consider the problem of classification when inputs correspond to sets of vectors. This setting occurs in many problems such as the classification of pieces of mail containing several pages, of web sites with several sections or of images that have been pre-segmented into smaller regions. We propose generalizations of the restricted Boltzmann machine (RBM) that are appropriate in this context and explore how to incorporate different assumptions about the relationship between the input sets and the target class within the RBM. In experiments on standard multiple-instance learning datasets, we demonstrate the competitiveness of approaches based on RBMs and apply the proposed variants to the problem of incoming mail classification.

연구 동기 및 목표

• 순서가 없고 길이가 변하는 벡터 집합(예: 이메일 내의 여러 문서나 이미지 세그먼트)을 분류하는 문제에 대응한다.
• 기존 다중인스턴스 학습(MIL) 기법이 단일 양성 예외로 충분하다는 가정을 하고 있는 한계를 극복하기 위해, 다수의 부분적 신호가 필요로 하는 경우를 모델링한다.
• 입력 집합의 공동 표현과 클래스 레이블을 학습할 수 있도록 새로운 RBM 아키텍처를 개발하여, 입력 집합을 완전히 벡터화할 필요 없이 다중분류를 가능하게 한다.
• 개별 집합 요소들이 클래스 소속에 기여하는 방식에 대해 OR/AND 논리와 같은 구조적 가정을 통합함으로써, 증거 집약의 민첩한 모델링을 가능하게 한다.
• 표준 MIL 데이터셋과 실제 이메일 분류 작업에 대해 제안된 방법을 적용하여, 기존 방법들과 비교해 경쟁적인 성능을 보여준다.

제안 방법

• ClassSetRBM-OR 및 ClassSetRBM-AND라는 두 가지 새로운 RBM 변종을 제안하여, 잠재 표현을 사용해 집합의 분류를 모델링한다.
• 집합 내 어떤 요소라도 클래스 조건을 만족하는지 모델링하기 위해 보조 이진 히든 유닛 G를 도입하며, G와 H 유닛 간 상호 배제성과 계층성을 강제하는 제약 조건을 설정한다.
• 숨은 상태에 대한 근사 확률을 계산하기 위해 소프트플러스(softplus) 및 소프트맥스(softmax) 연산을 사용하여, 두 모델에 대해 계산이 가능한 자유 에너지 함수를 유도한다. 이를 통해 효율적인 추론과 학습이 가능해진다.
• 에너지 기반 모델 프레임워크를 사용하여 입력 집합 X, 클래스 레이블 y, 히든 유닛 H 및 G의 공동 확률 분포를 정의하며, 에너지 함수 E(X, y, H, G)는 가중치 W, U, b, c, d를 포함한다.
• 계산 가능한 조건부 분포를 활용하여 경량화된 추정 기반 학습을 수행하며, 경량화된 로그우도의 기반으로 기울기 기반 학습을 적용한다.
• ClassSetRBM-OR의 경우 자유 에너지는 F^OR(X, y) = -d^T y - sum_j softplus(U_j·y + softmax_j(X))로 표현되며, 여기서 softmax_j(X)는 j번째 히든 유닛을 통해 모든 집합 요소로부터의 증거를 집약한다.

실험 결과

연구 질문

• RQ1 개별 요소들이 클래스 소속에 대해 부분적인 증거만 제공하는 상황에서 RBM 기반 모델이 벡터 집합의 분류에 효과적으로 작용할 수 있는가?
• RQ2 OR 및 AND 논리에 기반한 구조적 가정을 확률적 생성 모델인 RBM 내에 어떻게 표현할 수 있는가?
• RQ3 제안된 세트-RBM 아키텍처가 표준 벤치마크 데이터셋에서 표준 다중인스턴스 학습 기반 모델을 능가하는가?
• RQ4 이 모델은 입력이 텍스트 문서 집합인 실제 응용 분야인 들어오는 메일 분류에 일반화될 수 있는가?
• RQ5 고정 크기의 벡터로 요약하는 대신, 집합의 잠재 표현을 모델링하는 것이 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 ClassSetRBM-OR 및 ClassSetRBM-AND 모델은 표준 다중인스턴스 학습(MIL) 데이터셋에서 경쟁적인 성능을 보이며, 기존 MIL 기반 모델을 능가하거나 동등하게 유지한다.
• 특정 집합 요소들에서만 부분적 증거가 존재하는 상황에서도 모델은 강인한 성능을 보이며, 기존 MIL 기법이 최소한 하나의 완전히 양성 예외가 필요하다는 점을 감안할 때 유리하다.
• 이메일 분류 작업에서, 하나의 이메일 내 여러 문서의 특징을 효과적으로 활용하여, 단순한 보그(BoW) 집약 방식보다 분류 정확도가 향상되었다.
• 유도된 자유 에너지 함수는 계산이 가능하며, 길이가 변하는 입력 집합에서도 효율적인 학습과 추론을 가능하게 한다.
• 자유 에너지에 소프트플러스 및 소프트맥스 연산을 사용함으로써, 집합 요소들 간의 증거 집약이 미분 가능해져 종단 간 학습이 가능해졌다.
• 히든 유닛 기여도를 분해하고 논리적 제약 조건(예: 상호 배제성)을 강제함으로써, 명시적 특징 공학 없이도 구조적인 추론이 가능해졌다.