[논문 리뷰] Context Aware Machine Learning

Yun Zeng|arXiv (Cornell University)|2019. 01. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 64인용 수 7

한 줄 요약

이 논문은 조건부 확률 분포를 맥락 무관 및 맥락 의존 성분으로 분해함으로써 맥락 인식 기계 학습을 위한 통합된 확률적 프레임워크를 제안한다. 이를 통해 맥락 무관 및 맥락 의존 성분으로 나누는 새로운 임bedding 분해 공식(EDF)을 도입하여, 두 개의 가중 벡터로 분해된 임베딩을 가능하게 한다. 이 방법은 문장 임베딩, 어텐션 메커니즘, LSTMs와 같은 기존 모델들을 원리적이고 이론적으로 기반한 재설계를 통해 성능 향상과 더불어 빠른 수렴을 가능하게 한다.

ABSTRACT

We propose a principle for exploring context in machine learning models. Starting with a simple assumption that each observation may or may not depend on its context, a conditional probability distribution is decomposed into two parts: context-free and context-sensitive. Then by employing the log-linear word production model for relating random variables to their embedding space representation and making use of the convexity of natural exponential function, we show that the embedding of an observation can also be decomposed into a weighted sum of two vectors, representing its context-free and context-sensitive parts, respectively. This simple treatment of context provides a unified view of many existing deep learning models, leading to revisions of these models able to achieve significant performance boost. Specifically, our upgraded version of a recent sentence embedding model not only outperforms the original one by a large margin, but also leads to a new, principled approach for compositing the embeddings of bag-of-words features, as well as a new architecture for modeling attention in deep neural networks. More surprisingly, our new principle provides a novel understanding of the gates and equations defined by the long short term memory model, which also leads to a new model that is able to converge significantly faster and achieve much lower prediction errors. Furthermore, our principle also inspires a new type of generic neural network layer that better resembles real biological neurons than the traditional linear mapping plus nonlinear activation based architecture. Its multi-layer extension provides a new principle for deep neural networks which subsumes residual network (ResNet) as its special case, and its extension to convolutional neutral network model accounts for irrelevant input (e.g., background in an image) in addition to filtering.

연구 동기 및 목표

• 기계 학습에서 맥락을 모델링하기 위한 원리적이고 확률론적인 기반을 확립하기 위해.
• 문장 임베딩 및 LSTMs와 같은 기존 모델에서 히우리스틱 가정의 한계를 해결하기 위해.
• 지수족 분포를 기반으로 하여 다양한 딥 러닝 아키텍처를 하나의 이론적 프레임워크로 통합하기 위해.
• 맥락 무관 및 맥락 의존 성분을 분리하는 새로운 임베딩 분해 공식(EDF)을 개발하기 위해.
• 맥락 인식 아키텍처 수정을 통해 기존 모델의 성능 향상을 가능하게 하기 위해.

제안 방법

• 조건부 확률 분포에 지표 변수를 도입하여 맥락 무관 및 맥락 의존 성분을 구분하기 위해.
• 랜덤 변수와 그들의 임베딩 공간 표현 간의 관계를 설정하기 위해 로그 선형 단어 생성 모델을 적용하기 위해.
• 자연 지수족의 볼록성을 활용하여 임베딩 분해 공식(EDF)을 유도하여, 임베딩을 맥락 무관 및 맥락 의존 벡터의 가중 합으로 분해하기 위해.
• 각 관측치의 맥락 무관성 수준을 결정하는 맥락 인식 가중치 함수(χ-함수)를 정의하기 위해.
• EDF를 사용하여 어텐션, LSTM, 잔차 네트워크와 같은 기존 모델을 재구성하여 맥락 인식 변형을 만들기 위해.
• 생물학적 뉴런을 영감으로 삼아 χ-함수를 사용해 항등 전환과 비선형 변환 간을 게이팅하는 새로운 일반적인 신경망 레이어를 설계하기 위해.

실험 결과

연구 질문

• RQ1 확률 이론을 활용하여 기계 학습에서 맥락을 공식적이고 보편적으로 모델링할 수 있는가?
• RQ2 다양한 딥 러닝 모델을 맥락 인식 분해를 통해 재해석하고 향상시킬 수 있는 통합 프레임워크를 유도할 수 있는가?
• RQ3 임베딩을 맥락 무관 및 맥락 의존 성분으로 분리하는 이론적 근거는 무엇인가?
• RQ4 제안된 EDF는 어텐션 메커니즘, RNN 및 CNN에서 성능을 어떻게 향상시키는가?
• RQ5 맥락 인식 아키텍처는 수렴 속도와 예측 정확도에서 원래 대비를 능가할 수 있는가?

주요 결과

• 제안된 맥락 인식 모델은 Arora 등(2017)의 원래 문장 임베딩 모델을 크게 능가하며, 벤치마크 데이터셋에서 큰 성능 향상을 달성한다.
• 업그레이드된 LSTM 변형은 원래 아키텍처에 비해 훨씬 빠른 수렴 속도를 보이며 예측 오차가 상당히 낮아진다.
• EDF에서 유도된 새로운 어텐션 메커니즘은 순수 어텐션 RNN 아키텍처를 가능하게 하여 표준 RNN과 동등하거나 이를 초월하는 성능을 달성한다.
• 맥락 인식 잔차 네트워크(CA-ResNet)는 원래 ResNet을 특수 케이스로 포함하며 명시적 맥락 모델링을 통해 성능 향상을 이룬다.
• 제안된 CA-CNN 아키텍처는 이미지에 대한 사전 지도를 자연스럽게 계산하여 배경 노이즈와 같은 불필요한 입력을 더 잘 다룰 수 있게 한다.
• 기존 모델의 표준 레이어를 맥락 인식 대체 레이어로 교체하면, 아키텍처의 대대적 개편 없이도 다양한 벤치마크에서 성능 향상이 뚜렷하게 이루어진다.