[논문 리뷰] Deep Dimension Reduction for Supervised Representation Learning

Jian Huang, Yuling Jiao외 3명|arXiv (Cornell University)|2020. 06. 10.

Machine Learning and Data Classification참고 문헌 71인용 수 4

한 줄 요약

이 논문은 조건부 독립과 f-분산을 바탕으로 한 목적 함수를 최소화하여 저차원, 분리된, 충분한 표현을 학습하는 비모수적 딥러닝 프레임워크인 딥 차원 축소(DDR)를 제안한다. 이 방법은 초과 위험에서 일致성을 보장하며, 분류 및 회귀 과제에서 기존의 차원 축소 및 딥러닝 방법보다 뛰어난 성능을 보인다.

ABSTRACT

The goal of supervised representation learning is to construct effective data representations for prediction. Among all the characteristics of an ideal nonparametric representation of high-dimensional complex data, sufficiency, low dimensionality and disentanglement are some of the most essential ones. We propose a deep dimension reduction approach to learning representations with these characteristics. The proposed approach is a nonparametric generalization of the sufficient dimension reduction method. We formulate the ideal representation learning task as that of finding a nonparametric representation that minimizes an objective function characterizing conditional independence and promoting disentanglement at the population level. We then estimate the target representation at the sample level nonparametrically using deep neural networks. We show that the estimated deep nonparametric representation is consistent in the sense that its excess risk converges to zero. Our extensive numerical experiments using simulated and real benchmark data demonstrate that the proposed methods have better performance than several existing dimension reduction methods and the standard deep learning models in the context of classification and regression.

연구 동기 및 목표

• 학습된 표현에서 충분성, 저차원성, 분리성 보장을 보장하는 원칙적인 딥러닝 접근법을 개발하는 것.
• 딥 네트워크를 사용하여 비선형, 비모수적 설정으로 충분한 차원 축소(SDR)를 일반화하는 것.
• 모수적 수준에서 조건부 독립을 강제하고 분리성을 촉진하는 목적 함수 최소화를 통해 표현 학습을 공식화하는 것.
• 초과 위험의 수렴을 증명하여 학습된 표현의 이론적 일치성을 확립하는 것.
• 기본 데이터셋에서 표준 딥러닝 및 기존의 차원 축소 방법과 비교하여 뛰어난 경험적 성능을 입증하는 것.

제안 방법

• 조건부 독립을 특징화하고 f-분산 및 거리 공분산을 통해 분리성을 촉진하는 목적 함수 최소화를 통해 이상적인 표현 학습 과제를 공식화한다.
• 표본 수준에서 복잡한 비선형 관계를 영리하게 모델링할 수 있도록 딥 네트워크를 사용해 타겟 표현을 비모수적으로 추정한다.
• 표본 수준에서 초과 위험을 최소화하기 위해 공동 최적화되는 표현 네트워크 $ D_{m{ heta}} $ 와 예측 네트워크 $ R_{m{ heta}} $ 를 포함하는 이중 단계 학습 프레임워크를 활용한다.
• empirical process의 바운드를 확립하고 일반화 오차 바운드를 도출하기 위해 대칭화 및 Rademacher 복잡도 기법을 적용한다.
• 딥 네트워크 클래스의 용량을 제어하고 일致성을 보장하기 위해 커버링 수와 VC-차원 기반의 복잡도 제어를 사용한다.
• 표본 크기가 증가함에 따라 추정된 표현의 초과 위험이 0으로 수렴함을 보여 이론적 일치성을 도출한다.

실험 결과

연구 질문

• RQ1 비모수적 딥러닝 프레임워크를 설계하여 지도 학습을 위한 충분하고 저차원적이며 분리된 표현을 학습시킬 수 있는가?
• RQ2 비선형, 비모수적 설정에서 입력과 반응 간의 조건부 독립을 표현에 의해 어떻게 강제할 수 있는가?
• RQ3 이러한 프레임워크 하에서 딥 표현 학습의 일치성에 대해 어떤 이론적 보장을 확보할 수 있는가?
• RQ4 분류 및 회귀 과제에서 제안된 DDR 방법이 표준 딥러닝 및 기존의 차원 축소 기법과 비교해 성능 면에서 어떻게 다른가?
• RQ5 강한 모수적 가정 없이도 고차원적이고 복잡한 데이터, 예를 들어 이미지 및 자연어 데이터를 효과적으로 처리할 수 있는가?

주요 결과

• 제안된 DDR 방법은 일관된 추정을 보이며, 표본 크기가 증가함에 따라 학습된 표현의 초과 위험이 0으로 수렴한다.
• 시뮬레이션 및 실제 벤치마크 데이터셋에서의 광범위한 실험 결과, DDR는 분류 및 회귀 과제에서 몇 가지 기존의 차원 축소 방법과 표준 딥러닝 모델을 모두 능가하는 성능을 보였다.
• 이 방법은 모든 반응에 관한 관련 정보를 유지하면서 저차원, 분리된 표현을 성공적으로 학습하여 조건부 독립 원칙을 충족시켰다.
• 이론적 분석을 통해 Rademacher 복잡도 및 커버링 수 바운드를 통한 일반화 오차 통제가 가능하며, 이는 강건성과 일치성을 보장한다.
• DDR는 선형 방법이 비선형적 구조로 인해 실패하는 고차원 데이터, 예를 들어 이미지 유사 데이터셋에서도 뛰어난 성능을 보였다.
• 이 프레임워크는 전통적인 SDR를 비선형, 비모수적 설정으로 확장함으로써 딥 네트워크를 사용해 선형성 또는 일정한 공분산 가정 없이도 일반화하였다.