[논문 리뷰] Morpho-MNIST: Quantitative Assessment and Diagnostics for Representation Learning

Daniel C. Castro, Jeremy Tan외 3명|arXiv (Cornell University)|2018. 09. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 18

한 줄 요약

이 논문은 MNIST에 측정 가능한 형태적 속성(예: 선 두께, 기울기, 너비, 높이)과 변형을 추가하여 표현 학습을 객관적으로 평가할 수 있는 정량적 프레임워크인 Morpho-MNIST를 소개한다. 이는 생성 모델의 학습된 표현을 진정한 형태 측정치와 비교하여, 모델이 데이터의 다양성 요인을 얼마나 잘 분리하고 포착하는지 사후 평가할 수 있도록 한다.

ABSTRACT

Revealing latent structure in data is an active field of research, having introduced exciting technologies such as variational autoencoders and adversarial networks, and is essential to push machine learning towards unsupervised knowledge discovery. However, a major challenge is the lack of suitable benchmarks for an objective and quantitative evaluation of learned representations. To address this issue we introduce Morpho-MNIST, a framework that aims to answer: "to what extent has my model learned to represent specific factors of variation in the data?" We extend the popular MNIST dataset by adding a morphometric analysis enabling quantitative comparison of trained models, identification of the roles of latent variables, and characterisation of sample diversity. We further propose a set of quantifiable perturbations to assess the performance of unsupervised and supervised methods on challenging tasks such as outlier detection and domain adaptation. Data and code are available at https://github.com/dccastro/Morpho-MNIST.

연구 동기 및 목표

• 비지도 및 자기지도 학습 모델의 표현 학습 평가를 위한 객관적이고 정량적인 기준이 부족한 문제를 해결하기 위해.
• 선 두께나 숫자 기울기와 같은 특정 측정 가능한 다양성 요인을 얼마나 잘 포착하는지 모델의 성능을 객관적으로 평가할 수 있도록 하기 위해.
• 모델 행동 진단(예: 분리성, 모드 붕괴, 샘플 다양성 등)을 위한 재현 가능하고 확장 가능한 프레임워크를 제공하기 위해.
• MNIST 데이터셋에 형태 측정 분석과 제어된 변형을 추가하여 표현 품질을 철저히 평가할 수 있도록 하기 위해.
• 이미 학습된 모델에 대한 사후 분석과 생성 및 예측 모델을 위한 새로운 평가 프로토콜 개발을 뒷받침하기 위해.

제안 방법

• 저자는 이미지 모멘트 기반 분석을 통해 MNIST 숫자 이미지에서 추출한 측정 가능한 형태적 속성 집합(선 두께, 길이, 너비, 높이, 기울기)을 정의한다.
• 모델의 강건성과 분리성 평가를 위해 전역 밀도 감소, 증가, 局부 팽창, 파손 등의 제어된 변형을 도입하여 수정된 데이터셋을 생성한다.
• 실제 데이터와 생성 데이터 간의 형태적 속성 분포 간의 유사성을 비교하기 위해 스코트의 규칙에 기반한 가우시안 커널 대역폭을 사용한 최대 평균 차이(MMD)와 같은 통계적 검정을 사용한다.
• 형태 측정 분포를 학습, 테스트 및 변형된 세트 간에 시각화하고 비교하여 잠재 공간 내 과대/과소 표현 여부 등 모델 행동을 진단한다.
• 이 방법은 생성 샘플을 이러한 정량적 지표를 통해 분석함으로써 기존에 학습된 모델에 대한 사후 평가를 지원한다.
• 이 접근법은 dSprites에서의 사례와 같이 MNIST를 초월해 일반화 가능하며, 적절한 속성 측정이 가능한 비이미지 데이터에 대해서도 적용 가능하다.

실험 결과

연구 질문

• RQ1 학습된 모델이 MNIST에서 선 두께나 숫자 기울기와 같은 특정 측정 가능한 다양성 요인을 얼마나 잘 표현했는가?
• RQ2 생성 모델은 실제 데이터와 비교해 형태적 속성의 연합 분포를 얼마나 잘 유지하는가?
• RQ3 국부 팽창이나 파손과 같은 변형을 통해 모드 붕괴나 나쁜 분리성과 같은 실패 모드를 진단할 수 있는가?
• RQ4 다양한 표현 학습 방법은 래스터화된 2차원 이미지에서 형태 수준의 속성을 얼마나 잘 포착하고 분리하는가?
• RQ5 정성적 샘플 검토만으로는 드러나지 않는, 형태 측정 분석이 모델 행동에 대한 통찰을 제공할 수 있는가?

주요 결과

• 형태 측정 분석 결과, 분리성 목표를 가진 모델이 실제 데이터와 생성 데이터의 속성 분포 간 유사도가 더 높게 유지되어, 선 두께나 기울기와 같은 개별 속성을 더 잘 포착하는 것으로 나타났다.
• 전역 밀도 감소나 증가와 같은 변형을 통해 모드 붕괴를 명확히 진단할 수 있었으며, 이는 모델이 형태적 다양성의 전 범위에서 다양한 샘플을 생성하지 못함을 보여주었다.
• 스코트의 규칙에 기반한 대역폭을 사용한 MMD 검정은 실제 데이터와 생성 데이터의 형태 측정 데이터 분포 유사성에 대한 신뢰할 수 있는 정량적 측도를 제공하여 모델의 정밀도 순위 매기기에 기여했다.
• 이 프레임워크는 일부 모델이 비록 시각적으로 타당한 숫자를 생성하지만, 너비와 높이와 같은 핵심 속성을 일관되게 표현하지 못함으로써 분리성이 떨어지는 것으로 진단하는 데 성공했다.
• 형태 측정 접근법은 일부 생성 모델이 극단적인 너비에 비해 최소한의 높이를 가지는 등 비현실적인 속성의 연합 분포를 생성함으로써, 개별 지표는 잘 추출되지만 분포적 실패가 발생했음을 진단했다.
• 이 방법은 dSprites 데이터셋에서의 사례를 통해 MNIST를 초월한 일반화 능력을 입증했으며, 위치와 척도와 같은 형태 속성도 동일하게 측정하고 분석할 수 있었다.