[논문 리뷰] On the challenges of learning with inference networks on sparse, high-dimensional data

Rahul G. Krishnan, Dawen Liang외 1명|arXiv (Cornell University)|2017. 10. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 30

한 줄 요약

이 논문은 희소하고 고차원적인 데이터(특히 깊이 있는 추론 네트워크를 사용하는 NFA에서)를 학습할 때 변분 오토인코더(VAE)에서 과소적합이 발생하는 원인을 규명하고, 반복 최적화 및 향상된 희소 데이터 표현을 통해 이를 완화하는 방법을 제안한다. 이 방법은 텍스트 및 추천 작업에서 기존 최고 수준의 기준 모델인 CDAE와 WMF를 능가하는 성능을 크게 향상시킨다.

ABSTRACT

We study parameter estimation in Nonlinear Factor Analysis (NFA) where the generative model is parameterized by a deep neural network. Recent work has focused on learning such models using inference (or recognition) networks; we identify a crucial problem when modeling large, sparse, high-dimensional datasets -- underfitting. We study the extent of underfitting, highlighting that its severity increases with the sparsity of the data. We propose methods to tackle it via iterative optimization inspired by stochastic variational inference \citep{hoffman2013stochastic} and improvements in the sparse data representation used for inference. The proposed techniques drastically improve the ability of these powerful models to fit sparse data, achieving state-of-the-art results on a benchmark text-count dataset and excellent results on the task of top-N recommendation.

연구 동기 및 목표

• 텍스트 및 사용자-아이템 상호작용과 같은 희소하고 고차원적인 데이터에서 표준 VAE 학습이 모델 용량을 제대로 활용하지 못하는 이유를 탐구한다.
• 표준 추론 네트워크를 사용할 때 희소한 데이터에서 깊이 있는 생성 모델의 핵심 실패 원인으로 과소적합을 규명한다.
• 추론 네트워크 학습 및 데이터 표현을 향상시켜 비선형 인과 분석(NFA)의 파라미터 추정을 개선한다.
• 적절히 훈련된 NFA 모델이 상위-N 추천 작업에서 WMF 및 SLIM과 같은 선형 기준 모델을 능가할 수 있음을 보여준다.
• 강한 인도적 편향에 의존하지 않고도 실제 희소 데이터에서 강력한 딥 생성 모델을 훈련하기 위한 실용적이고 확장 가능한 솔루션을 제공한다.

제안 방법

• 반복 최적화 기반의 최적화 기법을 제안하여 훈련 중에 변분 파라미터 ψ(x)를 개선함으로써 사후 분포 근사치를 향상시킨다.
• 원본 one-hot 벡터 대신 TF-IDF 또는 ℓ2 정규화된 희소 특징을 사용하는 수정된 추론 네트워크를 도입하여 초기 변분 파라미터의 품질을 향상시킨다.
• 두 단계 훈련 프로세스를 적용한다: 첫 번째 단계는 향상된 표현을 사용해 추론 네트워크 ψ(x)를 훈련하는 것; 두 번째 단계는 SVI 방식의 업데이트를 통해 ψ(x)를 반복적으로 개선하는 것.
• 조건부 가능도 p(x|z;θ)를 파rameterize하기 위해 딥 네ural 네트워크를 사용하며, 다층 퍼셉트론(MLP)에 이어 소프트맥스를 적용해 단어 또는 아이템 확률을 모델링한다.
• 재구성 기법을 적용하여 확률적 샘플링을 통해 역전파를 가능하게 하여 VAE 목표 함수의 엔드 투 엔드 훈련을 실현한다.
• 증거 하한 경계(ELBO)를 사용해 모델을 훈련하며, 확률적 경사 하강법을 통해 생성 모델 파라미터 θ와 추론 네트워크 파라미터 φ를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 표준 VAE 학습 절차가 희소하고 고차원적인 데이터를 다룰 때조차도, 강력한 딥 추론 네트워크를 사용함에도 불구하고 성능을 제대로 내지 못하는 이유는 무엇인가?
• RQ2 데이터의 희소성이 추론 네트워크가 생성하는 변분 파라미터 ψ(x)의 품질에 어떤 영향을 미치며, 그로 인해 발생하는 과소적합의 원인은 무엇인가?
• RQ3 변분 파라미터의 반복 최적화가 희소한 데이터에서 모델 성능을 향상시킬 수 있는가? 그리고 기존의 단일 단계 추론 네트워크 훈련 방식과 비교해 볼 때 어떤가?
• RQ4 추론 네트워크의 입력 표현을 개선함(예: TF-IDF 또는 ℓ2 정규화 사용)하면 사후 근사치와 가능도 추정이 향상되는가?
• RQ5 이러한 기법을 사용해 훈련된 딥 NFA 모델은 상위-N 추천 작업에서 WMF 및 SLIM과 같은 선형 기준 모델을 능가할 수 있는가?

주요 결과

• 표준 VAE 학습은 희소한 데이터에서 심각한 과소적합을 초래하며, 모델의 전체 용량을 활용하지 못하고 오히려 WMF와 같은 얕은 선형 모델보다도 성능이 열 劣하다.
• 제안된 반복 최적화 기법(ψ*)은 모든 평가 지표에서 성능 향상을 이끌어내었으며, Netflix 데이터셋에서 NDCG@100이 0.367, ML-20M에서 0.358를 기록하여 CDAE 및 SLIM를 모두 능가했다.
• 추론 네트워크에 TF-IDF 또는 ℓ2 정규화된 특징을 사용할 경우, 원본 one-hot 입력 대비 NDCG@100에서 2–3%p의 절대적 성능 향상이 이루어졌다.
• 반복 최적화와 향상된 데이터 표현의 조합은 NFA 모델이 벤치마크 텍스트-카운트 데이터셋에서 최고 수준의 성능을 달성하도록 했다.
• 향상된 훈련 방법은 ψ(x)와 ψ*(최적의 변분 파라미터) 사이의 간격을 줄여 더 타이트한 ELBO와 더 나은 일반화 성능을 이끌어냈다.
• 이 방법은 계산적으로 효율적이며, 더 높은 모델 용량을 가짐에도 불구하고 NFA(ψ* 포함)의 훈련 시간은 SLIM보다 2~3배 빠르게 이루어졌다.