[논문 리뷰] Exploiting compositionality to explore a large space of model structures

Roger Grosse, Ruslan Salakhutdinov외 2명|arXiv (Cornell University)|2012. 10. 16.

Data Visualization and Analytics참고 문헌 36인용 수 33

한 줄 요약

이 논문은 문맥 자유 문법과 탐욕적 탐색을 통해 재사용 가능한 추론 알고리즘을 기반으로 데이터로부터 최적의 행렬 분해 모델을 체계적으로 탐색함으로써 자동으로 최적의 행렬 분해 모델을 발견하는 구성적 문법 기반 접근법을 제안한다. 문맥 자유 문법과 재사용 가능한 추론 알고리즘에 기반한 탐색을 통해, 계층적 또는 희소 분해와 같은 복잡한 데이터 기반의 구조를 효율적으로 식별할 수 있으며, 노이즈가 있는 상황에서도 유연하게 단순화되어 다양한 데이터셋(이미지, 동작 캡처, 미국 상원 투표 기록 등)에서 뛰어난 성능을 달성하며, 단일 통합 코드베이스로 이를 구현한다.

ABSTRACT

The recent proliferation of richly structured probabilistic models raises the question of how to automatically determine an appropriate model for a dataset. We investigate this question for a space of matrix decomposition models which can express a variety of widely used models from unsupervised learning. To enable model selection, we organize these models into a context-free grammar which generates a wide variety of structures through the compositional application of a few simple rules. We use our grammar to generically and efficiently infer latent components and estimate predictive likelihood for nearly 2500 structures using a small toolbox of reusable algorithms. Using a greedy search over our grammar, we automatically choose the decomposition structure from raw data by evaluating only a small fraction of all models. The proposed method typically finds the correct structure for synthetic data and backs off gracefully to simpler models under heavy noise. It learns sensible structures for datasets as diverse as image patches, motion capture, 20 Questions, and U.S. Senate votes, all using exactly the same code.

연구 동기 및 목표

• 주어진 데이터셋에 대해 막대한 가능성을 가진 모델 구조 중 적절한 확률적 모델을 자동으로 선택하는 데 도전하는 것.
• 주로 주성분 분석(PCA), 비음수 행렬 분해(NMF), 확률적 행렬 분해와 같은 다양한 비지도 학습 모델들을 하나의 구성적 프레임워크로 통합하는 것.
• 작은 도구상자에 포함된 재사용 가능한 알고리즘을 통해 다양한 모델 구조 간에 효율적이고 일반적인 추론을 가능하게 하는 것.
• 모든 가능한 모델 구조를 완전히 평가하지 않고도 높은 성능을 보이는 모델을 식별할 수 있는 검색 전략을 개발하는 것.
• 단일이고 일관된 구현을 통해 다양한 실제 세계 데이터셋에서의 강인성과 적응성을 입증하는 것.

제안 방법

• 저자는 인자 분해, 희소성, 계층적 구조와 같은 소수의 기본 연산으로부터 큰 행렬 분해 모델의 공간을 구성하는 문맥 자유 문법을 정의한다.
• 각 모델 구조는 문법에 의해 생성되며 파싱 트리로 표현되어 모델 공간의 시스템적 탐색이 가능해진다.
• 예측 가능도를 기반으로 평가하는 탐욕적 탐색 전략을 사용하며, 모든 모델에 동일한 코드를 재사용하는 일반적인 추론 알고리즘을 적용한다.
• 추론은 변분 베이즈 또는 기대값 최대화 기반 추론을 통해 수행되며, 알고리즘 구성 요소는 재사용 가능한 모듈로 추상화된다.
• 문법의 구성적 규칙에 따라, 전체 가능한 모델의 작은 부분집합만 평가함으로써 동적으로 최적의 모델 구조를 선택한다.
• 모델 복잡도와 적합도의 균형을 고려하여 모델 선택을 수행하며, 높은 노이즈 상황에서는 자동으로 더 단순한 모델로의 전환을 보여준다.

실험 결과

연구 질문

• RQ1 구성적 문법이 큰 다양성을 가진 행렬 분해 모델의 공간을 효과적으로 생성하고 탐색할 수 있는가?
• RQ2 다양한 모델 구조 간에 동일한 추론 프레임워크를 재사용할 수 있는가? 재구현 없이도 가능한가?
• RQ3 문법에 의해 생성된 모델에 대해 탐욕적 탐색이 원시 데이터로부터 정확하거나 최적의 구조를 신뢰성 있게 식별할 수 있는가?
• RQ4 다양한 구조를 가진 다양한 데이터셋에 대해 이 방법이 얼마나 잘 일반화되는가?
• RQ5 데이터 품질이 낮거나 노이즈가 높을 경우, 이 방법이 더 단순한 모델로 부드럽게 떨어지며 성능을 유지할 수 있는가?

주요 결과

• 복잡하고 비직관적인 진짜 모델을 가진 시뮬레이션 데이터에 대해서도 이 방법은 정확한 모델 구조를 성공적으로 식별한다.
• 높은 노이즈 조건 하에서도 이 방법은 자동으로 더 단순한 모델을 선택함으로써 강인성과 부드러운 성능 저하를 보여준다.
• 이 방법은 이미지 패치, 동작 캡처 시퀀스, 20가지 질문 게임 응답, 미국 상원 투표 기록 등 실제 세계 데이터셋에서 해석 가능하고 의미 있는 구조를 학습한다.
• 모든 데이터셋에 동일한 코드베이스와 추론 파이프라인을 사용함으로써 이 방법의 일반성과 재사용 가능성을 확인한다.
• 탐욕적 탐색 전략은 2,500개 이상의 가능한 모델 구조 중 일부만 평가하여 효율적인 모델 탐색을 달성한다.
• 기준 기준점 데이터셋에서 경쟁 가능한 예측 가능도를 달성하며, 모델 선택 정확도에서 표준 기준보다 뛰어난 성능을 보인다.