[논문 리뷰] A Survey of Inductive Biases for Factorial Representation-Learning

Karl Ridgeway|arXiv (Cornell University)|2016. 12. 15.

Bayesian Modeling and Causal Inference참고 문헌 24인용 수 37

한 줄 요약

이 종합 검토에서는 인도적 편향(inductive biases)을 식별하고 분류하여 기계 학습 모델이 인수 분해 표현(factorial representations)—즉, 데이터의 압축되고 분리된, 해석 가능한 분해 방식—을 학습하도록 이끌어내는 데 초점을 맞춘다. 이러한 편향은 비지도 학습(예: 불변성, 분포, 조합)과 지도 학습(예: 제약 유형, 지도 학습 강도)으로 분류되며, 더 강한 편향이 지도 학습과 자동에코더와 같은 아키텍처적 인도적 편향과 함께 사용될 경우 더 나은 분해를 이끌어낸다는 것을 보여준다.

ABSTRACT

With the resurgence of interest in neural networks, representation learning has re-emerged as a central focus in artificial intelligence. Representation learning refers to the discovery of useful encodings of data that make domain-relevant information explicit. Factorial representations identify underlying independent causal factors of variation in data. A factorial representation is compact and faithful, makes the causal factors explicit, and facilitates human interpretation of data. Factorial representations support a variety of applications, including the generation of novel examples, indexing and search, novelty detection, and transfer learning. This article surveys various constraints that encourage a learning algorithm to discover factorial representations. I dichotomize the constraints in terms of unsupervised and supervised inductive bias. Unsupervised inductive biases exploit assumptions about the environment, such as the statistical distribution of factor coefficients, assumptions about the perturbations a factor should be invariant to (e.g. a representation of an object can be invariant to rotation, translation or scaling), and assumptions about how factors are combined to synthesize an observation. Supervised inductive biases are constraints on the representations based on additional information connected to observations. Supervisory labels come in variety of types, which vary in how strongly they constrain the representation, how many factors are labeled, how many observations are labeled, and whether or not we know the associations between the constraints and the factors they are related to. This survey brings together a wide variety of models that all touch on the problem of learning factorial representations and lays out a framework for comparing these models based on the strengths of the underlying supervised and unsupervised inductive biases.

연구 동기 및 목표

• 신경망이 인수 분해 표현—즉, 변화의 기저가 되는 요소들이 명시적이고 독립적으로 코딩된 표현—을 학습하도록 이끄는 인도적 편향을 식별하고 체계화하는 것.
• 표현 학습에서 비지도 인도적 편향(예: 변환에 대한 불변성, 희박성, 다중선형 조합)과 지도 학습 편향(예: 레이블된 속성, 삼중조합 제약)을 구분하는 것.
• 다양한 인도적 편향의 조합과 강도가 학습된 표현의 분리성과 해석 가능성에 미치는 영향을 평가하는 것.
• 기존 모델을 그들의 기초가 되는 인도적 편향과 그것들이 인수 분해를 달성하는 데의 효과성에 기반해 비교할 수 있는 프레임워크를 제공하는 것.
• 데이터 편향, 비인수 환경, 인도적 편향의 새로운 조합 등 개방된 연구 방향을 식별하는 것.

제안 방법

• 인도적 편향을 비지도(분포, 불변성, 조합)와 지도 학습(제약 유형, 지도 학습 강도) 유형으로 분류한다.
• 요소 분포에 대한 가정(예: 정규분포, 희박성)이 표현 학습에 미치는 영향을 분석한다.
• 변환 불변 특징을 학습하기 위해 ISA(Independent Subspace Analysis) 및 협동 벡터 양자화와 같은 불변 기반 편향을 검토한다.
• 다중선형 모델, 기능적 부분, 계층적 층과 같은 조합 편향을 탐구하여 관측치에서 요소들이 어떻게 조합되는지를 모델링한다.
• 레이블된 요소, 삼중조합 손실 등 제약 유형과 그 영향을 평가하여 분리성에 미치는 영향을 분석하고, SSVAE, disBM, 시아미즈 네트워크 등의 사례 연구를 통해 지도 학습 제약을 평가한다.
• 자동에코더와 다중선형 또는 희박성 편향을 조합하는 아키텍처 확장 기법을 제안하여 효율성과 분해성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 변환에 대한 불변성 또는 희박성과 같은 다양한 비지도 인도적 편향이 분리된 표현을 학습하는 데 어떻게 기여하는가?
• RQ2 레이블된 속성, 삼중조합 손실 등 지도 학습 제약 조건의 상대적 영향은 학습된 표현에서의 분해 정도에 어떤가?
• RQ3 더 강한 인도적 편향이 분리성과 표현 학습에서의 교차 효과를 일관되게 향상시킬 수 있는가?
• RQ4 희박성 + 불변성, 다중선형 + 자동에코더 등의 인도적 편향 조합은 표현 품질과 효율성을 어떻게 향상시키는가?
• RQ5 데이터셋 편향 또는 비인수 데이터 구조는 인수 표현을 학습하는 능력에 어떤 역할을 하는가?

주요 결과

• 특히 지도 학습과 함께 사용될 경우 더 강한 인도적 편향은 SSVAE 및 disBM와 같은 모델의 교차 효과를 통해 더 나은 분리성과 더 명확한 분해를 이끌어내며, 더 나은 표현을 유도한다.
• 부분적으로 레이블이 매겨진 데이터셋을 사용하는 모델들(예: SSVAE, disBM)은 분해의 더 강력한 증거를 보이며, 이는 조그만 지도 학습조차도 분리성을 크게 향상시킬 수 있음을 시사한다.
• mm t-SNE 모델은 강력한 거리 제약 조건을 사용하고도, 높은 요소 상관관계와 요소 무관 제약 조건으로 인해 비인수적, 고차원 데이터셋에서 약한 분해를 보였다.
• 다중선형 조합과 같은 비지도 편향을 자동에코더와 조합하면 모델 크기를 줄이고 불변성을 향상시킬 수 있어, 아키텍처의 상호보완성이 분해를 향상시킨다는 것을 시사한다.
• 풀링 희박성과 ISA를 조합하거나, 비음성 조건과 다중선형 모델을 조합하는 등의 새로운 편향 조합은 더 나은, 효율적이고 해석 가능한 표현을 위한 유망한 길을 제시한다.
• 요소에 무관한 제약 조건은 아직 활용도가 낮지만, 요소의 정체성을 사전에 알지 못한 채 분리된 표현을 학습할 잠재력을 지닌다. 특히 Karaletsos와 같은 모델에 확장할 경우 더욱 유망하다.