[논문 리뷰] Measuring Compositionality in Representation Learning

Jacob Andreas|arXiv (Cornell University)|2019. 02. 19.

Natural Language Processing Techniques참고 문헌 47인용 수 24

한 줄 요약

이 논문은 관측된 표현을 재구성하기 위해 추론된 원소들에 대해 최적화하는 차별 가능한, 자동화된 방법인 tre를 소개한다. 이 방법은 학습된 표현의 조합성(compositionality)을 측정한다. 조합성이 높을수록 일반화 성능이 향상됨을 확인했지만, 동시에 전체 성능는 낮아지는 경향이 있어 표현 설계에서의 상충관계를 드러낸다.

ABSTRACT

Many machine learning algorithms represent input data with vector embeddings or discrete codes. When inputs exhibit compositional structure (e.g. objects built from parts or procedures from subroutines), it is natural to ask whether this compositional structure is reflected in the the inputs' learned representations. While the assessment of compositionality in languages has received significant attention in linguistics and adjacent fields, the machine learning literature lacks general-purpose tools for producing graded measurements of compositional structure in more general (e.g. vector-valued) representation spaces. We describe a procedure for evaluating compositionality by measuring how well the true representation-producing model can be approximated by a model that explicitly composes a collection of inferred representational primitives. We use the procedure to provide formal and empirical characterizations of compositional structure in a variety of settings, exploring the relationship between compositionality and learning dynamics, human judgments, representational similarity, and generalization.

연구 동기 및 목표

• 벡터 또는 이산 코드 공간에서의 학습된 표현의 조합성을 측정하기 위한 일반적이고 자동화되며 정량적인 방법을 개발하는 것.
• 학습 과정 중 조합성이 어떻게 변화하는지, 그리고 일반화나 표현 유사성과 같은 다른 모델 특성과 어떻게 관련되는지 평가하는 것.
• 외부 분포(out-of-distribution) 일반화를 위해 조합적 표현이 필수적인지 평가하는 것.
• 수동적 또는 도메인 특화 분석에 의존하지 않고도 형식적이고 확장 가능하며 재현 가능한 프레임워크를 제공하여 조합적 구조를 평가하는 것.

제안 방법

• tre는 원소 의미 표현을 은닉 변수로 간주하고, 차별 가능한 조합 모델을 통해 관측된 표현을 재구성하도록 최적화함으로써 조합성을 측정한다.
• 이 방법은 경사 하강법을 사용하여 원소 벡터와 조합 연산(예: 덧셈, 바인딩)을 최적화하여 재구성 오차를 최소화한다.
• 입력 문자열에서 분수형 토큰 수를 允허함으로써 연속 표현으로 일반화하여 이산 연산을 통한 역전파를 가능하게 한다.
• 이 프레임워크는 단순한 결합, 희소한 (속성, 값) 쌍, 비가환적 문자열 생성 등 다양한 조합 유형을 지원한다.
• 학습 실행을 자동으로 탐색하여 높거나 낮은 조합성과 양호한 일반화 성능을 보이는 모델을 식별할 수 있다.

실험 결과

연구 질문

• RQ1 학습 과정 중 표현의 조합성이 어떻게 변화하며, 다른 측정 가능한 모델 다이나믹스와 어떻게 관련되는가?
• RQ2 모델의 조합성이 입력에 대한 인간의 조합적 구조 인식과 어느 정도 일치하는가?
• RQ3 조합성이 표현 유사성에 어떤 제약을 끼치며, tre는 다른 유사성 기반 분석 방법과 어떻게 비교되는가?
• RQ4 효과적인 외부 분포 일반화를 위해 조합적 표현이 필수적인가?

주요 결과

• tre로 측정한 조합성은 일반화 오차와 유의미하게 상관이 있다(p < 1e-6), 분포 이탈에 대한 강건성을 높임을 시사한다.
• 높은 tre 값은 절대 성능이 낮을수록 강하게 상관이 있다(p < 1e-9), 이는 조합적 모델가 종종 최적화되지 않은 의사소통 전략에서 유래함을 시사한다.
• 성공적인 학습 실행(보상 > 0.5)에 국한시켜도, tre와 일반화 오차 사이의 상관관계는 유의미하다(p < 1e-3), tre와 성능 사이의 상관관계 역시 그렇다(p < 0.05).
• 이 방법은 그림 6에서 보듯이 높은 조합성과 강력한 일반화를 동시에 보이는 언어를 성공적으로 식별한다. 여기서 tre 값 4.30과 2.96는 각각 훈련/검증 보상 0.78/0.61과 0.75/0.59와 함께 공존한다.
• 낮은 tre 모델는 종종 단순한 전략(예: 입력과 무관하게 고정된 출력)에 해당하며, 이는 구조적 단순성에도 불구하고 성능이 열악한 이유를 설명한다.