[논문 리뷰] Thurstonian Boltzmann Machines: Learning from Multiple Inequalities

Truyen Tran, Dinh Phung외 1명|arXiv (Cornell University)|2014. 08. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 15

한 줄 요약

Thurstonian Boltzmann Machines (TBM)은 이원, 순서형, 순위, 캐시드, 간격, 연속형 데이터를 포함한 다양한 데이터 유형을 잠재 연속 변수와 부등식 제약 조건을 통해 통합적으로 모델링함으로써 통합한다. 이 방법은 관측값이 아닌 부등식 제약 조건을 통해 학습하는 가우시안 RBM 프레임워크를 활용하여, 다중 모odal 및 복잡한 설문 조사 데이터에서 확장 가능하고 해석 가능한 모델링을 가능하게 하며, 손글씨 숫자 인식, 협업 필터링, 사회 설문 분석 분야에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We introduce Thurstonian Boltzmann Machines (TBM), a unified architecture that can naturally incorporate a wide range of data inputs at the same time. Our motivation rests in the Thurstonian view that many discrete data types can be considered as being generated from a subset of underlying latent continuous variables, and in the observation that each realisation of a discrete type imposes certain inequalities on those variables. Thus learning and inference in TBM reduce to making sense of a set of inequalities. Our proposed TBM naturally supports the following types: Gaussian, intervals, censored, binary, categorical, muticategorical, ordinal, (in)-complete rank with and without ties. We demonstrate the versatility and capacity of the proposed model on three applications of very different natures; namely handwritten digit recognition, collaborative filtering and complex social survey analysis.

연구 동기 및 목표

• 이원, 순서형, 순위, 캐시드, 간격, 연속형 데이터를 포함한 다양한 데이터 유형을 단일 확률적 프레임워크 내에서 통합적으로 모델링하는 것.
• 유형별로 특화된 볼츠만 모델의 한계를 보완하기 위해 잠재 연속 변수와 부등식 제약 조건을 사용하여 증거를 표현하는 것.
• 잠재 변수의 공통 공분산 구조를 통해 이질적인 데이터 유형 간 상관관계를 자연스럽게 모델링하는 것.
• 이전에 볼츠만 머신 문헌에서 다루지 못한 복잡한 사회 설문 조사 분석을 위한 확장 가능하고 일반적이며 해석 가능한 프레임워크를 제공하는 것.
• 손글씨 숫자 인식, 협업 필터링, 사회 설문 분석 등 다양한 영역에서 모델의 유연성과 경쟁력을 입증하는 것.

제안 방법

• TBM은 관측값이 있는 가시층을 다양한 데이터 유형에서 유도된 부등식 제약 조건으로 대체함으로써 가우시안 RBM을 확장한다.
• 각 데이터 유형은 잠재 연속 변수에 대한 하나 이상의 부등식으로 매핑된다: 예를 들어 이원 단위는 임계값 설정과 관련되며, 순서형 선택은 최대 효용 제약 조건과 관련되고, 순위 데이터는 순서가 지정된 부등식으로 표현된다.
• 에너지 함수는 잠재 가우시안 변수와 이진 히든 유닛 기반으로 정의되며, 기울기 기반 최적화를 사용하여 최대우도 기반으로 매개변수를 학습한다.
• 이면적 적분을 다루기 위해 라플라스 근사와 몬테카를로 샘플링을 사용하여 추론과 학습을 수행한다.
• 각 유형의 제약 조건을 통합된 에너지 함수에 통합함으로써, 별도의 아키텍처가 필요 없이 혼합된 데이터 유형 간의 공동 학습을 지원한다.
• 순위 데이터의 경우, 잠재 유틸리티가 구름벨 분포를 따르는 플래켓-루스 분포를 사용하여 선택 확률을 효율적으로 계산한다.

실험 결과

연구 질문

• RQ1 단일 볼츠만 머신 아키텍처가 이원, 순서형, 순위 데이터 등 다양한 데이터 유형을 통합된 프레임워크 내에서 효과적으로 모델링할 수 있는가?
• RQ2 잠재 연속 변수에 대한 부등식 제약 조건이 다양한 데이터 유형을 대체하는 일반적이고 유연한 표현 방식으로서 어떻게 작용하는가?
• RQ3 TBM이 특화된 설계 없이도 손글씨 숫자 인식 및 협업 필터링과 같은 표준 벤치마크에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 TBM이 혼합된 데이터 유형과 복잡한 제약 조건을 포함한 복잡한 사회 설문 조사 데이터에 대해 확장 가능하고 해석 가능한 솔루션을 제공할 수 있는가?
• RQ5 잠재 변수와 부등식 제약 조건을 사용할 경우, 유형별 모델 대비 모델의 해석 가능성과 상관관계 모델링 능력은 어떻게 향상되는가?

주요 결과

• TBM은 손글씨 숫자 인식에서 전문적으로 설계된 이원 이미지 데이터 전용 모델과 경쟁하거나 그 이상의 성능을 달성한다.
• 협업 필터링 과제에서 TBM은 암시적 피드백 데이터에 대해 뛰어난 성능을 보이며, 다양한 데이터 유형 간 사용자 선호도를 효과적으로 모델링한다.
• 복잡한 사회 설문 조사 분석에서 TBM은 순서형, 순서형, 순위, 캐시드, 간격 데이터를 포함한 혼합된 데이터 유형을 통합적으로 처리할 수 있는 첫 번째 확장 가능한 일반 모델이다.
• 잠재 변수와 부등식 제약 조건의 사용은 잠재 공간의 공통 공분산 구조를 통해 서로 다른 데이터 유형 간 상관관계를 자연스럽게 모델링할 수 있도록 한다.
• 이론적 유도 결과에 따르면, TBM은 순위 모델의 플래켓-루스 모델과 순서형 선택의 구름벨-맥스 기법을 자연스럽게 복원함으로써 존재하는 프레임워크와의 일관성을 입증한다.
• 실증적 평가 결과, TBM은 다양한 데이터 모odal 간에 잘 일반화되며, 데이터 유형을 전환할 때 아키텍처 재설계가 필요 없음을 확인했다.