[논문 리뷰] Tensorial Mixture Models

Or Sharir, Ronen Tamari외 2명|arXiv (Cornell University)|2016. 10. 13.

Bayesian Methods and Mixture Models참고 문헌 41인용 수 17

한 줄 요약

이 논문은 텐서 분석과 컨volution 신경망 구조를 조합하여 결측 데이터에서 정확하고 효율적인 주변 분포 계산이 가능한 타당한 생성 모델인 텐서리얼 혼합 모델(TMMs)을 소개한다. TMMs는 局부 패치 모델링과 전문가 혼합(Mixture-of-Experts) 레이어를 통해 제어된 표현력과 타당한 추론을 활용하여, 결측 데이터 하에서 분류 작업에서 최고 성능(SOTA)을 달성한다.

ABSTRACT

Casting neural networks in generative frameworks is a highly sought-after endeavor these days. Contemporary methods, such as Generative Adversarial Networks, capture some of the generative capabilities, but not all. In particular, they lack the ability of tractable marginalization, and thus are not suitable for many tasks. Other methods, based on arithmetic circuits and sum-product networks, do allow tractable marginalization, but their performance is challenged by the need to learn the structure of a circuit. Building on the tractability of arithmetic circuits, we leverage concepts from tensor analysis, and derive a family of generative models we call Tensorial Mixture Models (TMMs). TMMs assume a simple convolutional network structure, and in addition, lend themselves to theoretical analyses that allow comprehensive understanding of the relation between their structure and their expressive properties. We thus obtain a generative model that is tractable on one hand, and on the other hand, allows effective representation of rich distributions in an easily controlled manner. These two capabilities are brought together in the task of classification under missing data, where TMMs deliver state of the art accuracies with seamless implementation and design.

연구 동기 및 목표

• 딥 네트워크의 표현력과 산술 회로의 타당성의 조합을 가능하게 하는 생성 모델을 개발한다.
• 결측 입력에 대한 정확하고 효율적인 주변 분포 계산을 가능하게 하여, 불완전한 데이터 하에서 강건한 분류에 기여한다.
• 기존 모델의 한계(예: 낮은 확장성, 구조적 유연성 부족, 타당한 추론 부재)를 텐서 분석을 통해 극복한다.
• 모델 구조와 고차원 분포에서의 표현 능력 간의 이론적 기반을 제공하는 프레임워크를 제안한다.
• 특히 비무시적 결측성 메커니즘 하에서, 결측 데이터가 있는 분류 작업에서 뛰어난 성능을 보여준다.

제안 방법

• TMMs는 고차원 데이터를 국소 패치의 시퀀스로 모델링하며, 각 패치가 공간적 위치 간에 공유되는 매개변수를 가진 혼합 성분을 따른다고 가정한다.
• 모델는 각 공간 위치에서 성분 밀도의 볼록 조합을 계산하기 위해 Mixture-of-Experts(MEX) 레이어를 적용하는 컨볼루션 구조를 사용한다.
• 핵심 혁신은 MEX 연산 이전에 활성화 정규화를 적용하는 것이다: 소프트맥스 정규화가 각 공간 위치에 대해 적용되며, 활성화 값에서 빼고 MEX 이후에 다시 더해지며, 출력에 영향을 주지 않으면서 수치적 안정성을 향상시킨다.
• 결측 픽셀을 관측되지 않은 변수로 간주함으로써 모델은 모든 가능한 완성치에 대한 합산을 통해 클래스 확률을 정확하게 계산할 수 있도록 하여 타당한 주변 분포 계산을 가능하게 한다.
• 추론 과정에서 모델은 입력 이미지의 다수의 이동된 변형에 대해 적용되며, 결측 영역은 마스킹되며, 예측 결과는 평균화되어 강건성을 향상시킨다.
• 아키텍처는 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련되며, 온도 β와 같은 하이퍼파라미터는 데이터셋에 따라 조정된다(예: MNIST에선 β=0.01, NORB에선 다양하게 설정).

실험 결과

연구 질문

• RQ1 신경망 기반 생성 모델이 복잡한 데이터 분포에 대해 타당한 주변 분포 계산과 높은 표현력을 동시에 달성할 수 있는가?
• RQ2 텐서 분석을 어떻게 활용하여 이론적으로 해석 가능하고 실용적으로 효과적인 생성 모델의 가족을 설계할 수 있는가?
• RQ3 결측 데이터 하에서 TMMs가 비결정적 모델보다 얼마나 뛰어난 성능을 보일 수 있는가, 특히 비무시적 결측성 메커니즘 하에서?
• RQ4 정규화된 Mixture-of-Experts 레이어의 사용이 TMMs의 학습 안정성과 일반화 능력을 향상시키지만, 타당성은 유지하는가?
• RQ5 이동 변환과 주변 분포 계산을 통한 데이터 증강이 TMMs에 원활하게 통합되어 결측 입력에 대한 강건성을 향상시킬 수 있는가?

주요 결과

• MNIST에서 특징 삭제 상황 하에서 이진 숫자 분류 작업에서 TMMs는 표준 ConvNet조차도 시뮬레이션된 결측성에 대해 미세조정한 경우보다 뛰어난 최고 성능(SOTA)을 달성한다.
• 결측 데이터가 있는 MNIST 다중 클래스 분류 작업에서, TMMs는 i.i.d. 픽셀 손상과 결측 사각형 등 다양한 결측 패턴에서도 높은 성능 유지를 보이며, 테스트 시 결측성 메커니즘에 대한 지식이 필요하지 않다.
• MEX 레이어에 활성화 정규화를 적용함으로써 수치적 안정성과 모델 성능이 크게 향상되었으며, 특히 큰 활성화 값 처리 시 유의미한 개선을 보였다.
• TMMs는 예측 불가능한 결측 분포에 잘 일반화된다: 예를 들어 i.i.d. 손상 유형으로 훈련된 TMMs가 사각형 결측 유형 등 다른 유형의 손상에 대해서도 잘 작동함을 보여, 강건성을 입증하였다.
• 자르기나 보간 없이 결측 픽셀에 대해 주변 분포 계산을 수행할 수 있는 능력 덕분에, 특히 높은 결측 수준(예: N=150개의 비영점 픽셀 삭제)에서 일관된 성능 향상이 나타났다.
• 실험 결과, 시뮬레이션된 결측성 분포로 훈련된 표준 ConvNet은 새로운 결측 유형에 대해 편향을 띠며 성능이 떨어지는 것으로 나타났으며, 이는 TMMs의 내재된 주변 분포 계산 능력의 우수성을 강조한다.