[논문 리뷰] Learning Representations that Support Extrapolation

Taylor W. Webb, Zachary Dulberg외 4명|arXiv (Cornell University)|2020. 07. 09.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 표현 내의 관계적 구조를 강조함으로써 신경망의 일반화 능력을 향상시키는 새로운 인덕티브 바이어스인 컨텍스트 정규화를 소개한다. 이는 훈련 데이터를 초월한 상당한 외삽을 가능하게 한다. 새로운 시각적 유사성 벤치마크(VAEC)에서 평가된 결과, 특히 이동 및 스케일 이동이 발생하는 경우, 경쟁 기법들보다 더 뛰어난 제로샷 일반화 성능을 보였다.

ABSTRACT

Extrapolation -- the ability to make inferences that go beyond the scope of one's experiences -- is a hallmark of human intelligence. By contrast, the generalization exhibited by contemporary neural network algorithms is largely limited to interpolation between data points in their training corpora. In this paper, we consider the challenge of learning representations that support extrapolation. We introduce a novel visual analogy benchmark that allows the graded evaluation of extrapolation as a function of distance from the convex domain defined by the training data. We also introduce a simple technique, temporal context normalization, that encourages representations that emphasize the relations between objects. We find that this technique enables a significant improvement in the ability to extrapolate, considerably outperforming a number of competitive techniques.

연구 동기 및 목표

• 현재 모델들이 훈련 데이터의 볼록 껍질 내에서만 내삽을 통해 일반화하는 데 그치는 바탕이 되는 외삽 문제를 해결한다.
• 훈련 도메인에서의 거리 함수로 외삽 성능을 체계적으로 평가할 수 있는 벤치마크를 개발한다.
• 표현 공간에서 대칭성(이동 및 스케일 불변성)을 학습하도록 유도하는 단순하면서도 효과적인 인덕티브 바이어스인 컨텍스트 정규화를 설계한다.
• 이 인덕티브 바이어스가 훈련 중에 직접 노출되지 않은, 새로운 도메인 외의 입력으로도 일반화할 수 있음을 입증한다.

제안 방법

• 컨텍스트 정규화를 제안: 작업에 관련된 시간 윈도우에 걸쳐 특징을 정규화하여 표현 공간에서 스케일 및 이동 불변성을 강제한다.
• 상游 및 하류 표현을 모두 제약하는 계층별 연산으로 컨텍스트 정규화를 적용함으로써 추상적이고 관계적인 특징을 촉진한다.
• 밝기, 크기, 2D 위치에서 제어된 변동을 가진 42개의 이산 수준을 포함하는 4항 시각적 유사성 데이터셋인 시각적 유사성 외삽 도전 과제(VAEC)를 설계한다.
• 진행적 평가 체제로 VAEC를 구성: 훈련 도메인의 볼록 껍질에서 점점 더 멀리 떨어진 위치에 있는 테스트 예제를 포함하는 이동 및 스케일 외삽.
• 컨텍스트 정규화를 적용한 모델을 엔드 투 엔드로 훈련하고, VAEC, Hill 등(2019)의 데이터셋, 그리고 동적 객체 예측 과제에서 여러 경쟁 기반 모델과 성능를 비교한다.
• 도메인 외 데이터에 대한 명시적 액세스 없이 피드포워드 인코더를 사용함으로써, 외삽이 컨텍스트 정규화의 인덕티브 바이어스에 의해만 발생하도록 보장한다.

실험 결과

연구 질문

• RQ1 컨텍스트 정규화와 같은 단순한 인덕티브 바이어스가 신경망의 제로샷 외삽 성능을 상당히 향상시킬 수 있는가?
• RQ2 컨텍스트 정규화는 훈련 데이터의 볼록 껍질을 훨씬 떨어진 곳에 위치한 입력으로의 일반화 능력을 어느 정도 향상시키는가?
• RQ3 도메인 외 예제에 노출되지 않았음에도 불구하고, 컨텍스트 정규화의 존재가 상류 계층의 표현 학습을 관계 기반 일반화를 지원하도록 유도하는가?
• RQ4 다양한 과제 도메인에서 기존 방법들과 비교해 본다면, 제안된 방법의 외삽 성능는 어떠한가?
• RQ5 VAEC와 같은 벤치마크는 훈련 도메인에서의 거리 함수로 외삽을 점진적이고 체계적으로 평가하는 데 성공적인가?

주요 결과

• 컨텍스트 정규화는 VAEC 벤치마크에서 특히 이동 및 스케일 외삽 영역에서 외삽 성능을 상당히 향상시킨다.
• 메모리 네트워크 및 관계적 인덕티브 바이어스 기반 기법을 포함한 여러 경쟁 기법들보다 모든 평가 과제에서 성능이 뛰어나다.
• 훈련 중에 도메인 외 데이터에 노출되지 않았음에도 불구하고, 컨텍스트 정규화를 가진 모델은 훈련 분포를 훨씬 초월한 입력으로도 효과적으로 일반화된다.
• 성능 향상의 원인은 표현 공간에서 스케일 및 이동 불변성을 촉진하는 인덕티브 바이어스에 기인하며, 이는 과제의 기본 대칭성 반영한다.
• 결과적으로, 컨텍스트 정규화와 같은 미세한 아키텍처 인덕티브 바이어스가, 구조적으로 유사하지만 도메인 외의 새로운 입력으로의 제로샷 일반화를 가능하게 한다.
• VAEC 벤치마크는 외삽 평가를 점진적으로 체계적으로 수행할 수 있도록 성공적으로 지원하였으며, 훈련 도메인에서의 거리 증가에 따라 성능 저하가 명확히 드러났고, 컨텍스트 정규화가 이를 효과적으로 완화함을 보여주었다.