[논문 리뷰] Learning with Pseudo-Ensembles

Phil Bachman, Ouais Alsharif외 1명|arXiv (Cornell University)|2014. 12. 16.

Tensor decomposition and applications참고 문헌 22인용 수 360

한 줄 요약

이 논문은 제어된 노이즈 과정을 통해 단일 부모 모델에서 페르투베이션된 자식 모델의 가족을 생성함으로써 강건한 모델을 훈련하는 프레임워크인 가짜 앙상블(pseudo-ensembles)을 소개한다. 입력 노이즈와 구조적 노이즈에 대한 모델 강건성을 향상시키는 새로운 정규화 기법을 제안하며, 준감독 학습에서 최고 성능을 기록하고, 원래 모델을 초월해 감성 분석 벤치마크에서 재귀적 신경 텐서 네트워크(RNTN)의 성능을 크게 향상시킨다.

ABSTRACT

We formalize the notion of a pseudo-ensemble, a (possibly infinite) collection of child models spawned from a parent model by perturbing it according to some noise process. E.g., dropout (Hinton et. al, 2012) in a deep neural network trains a pseudo-ensemble of child subnetworks generated by randomly masking nodes in the parent network. We present a novel regularizer based on making the behavior of a pseudo-ensemble robust with respect to the noise process generating it. In the fully-supervised setting, our regularizer matches the performance of dropout. But, unlike dropout, our regularizer naturally extends to the semi-supervised setting, where it produces state-of-the-art results. We provide a case study in which we transform the Recursive Neural Tensor Network of (Socher et. al, 2013) into a pseudo-ensemble, which significantly improves its performance on a real-world sentiment analysis benchmark.

연구 동기 및 목표

• 드롭아웃과 특성 노이징 같은 방법들을 통합하는 모델 페르투베이션의 개념을 체계화하기 위해 가짜 앙상블을 정의한다.
• 입력과 내부 구조에 대한 페르투베이션에 강건한 모델 행동을 만드는 정규화 기법을 개발한다.
• 기존에 이론적 기반은 약한 준감독 학습 환경에 드롭아웃 유사 정규화 기법의 적용 범위를 확장한다.
• 기존 모델(예: 재귀적 신경 텐서 네트워크)의 매개변수와 잠재 공간에 체계적인 페르투베이션을 통해 성능을 향상시킨다.

제안 방법

• 가짜 앙상블은 노이즈 과정 $ p_{\xi} $ 를 사용해 부모 모델을 페르투베이션하여 생성된 자식 모델의 집합으로 정의된다. 여기서 각 $ f_{\theta}(x;\xi) $ 는 부모 모델 $ f_{\theta} $ 의 페르투베이션된 형태이다.
• 핵심 정규화 기법은 모든 페르투베이션된 자식 모델에 대한 기대 손실을 최소화하는 것으로, 수식으로는 $ \mathbb{E}_{(x,y)\sim p_{xy}} \mathbb{E}_{\xi\sim p_{\xi}} \mathcal{L}(f_{\theta}(x;\xi), y) $ 로 표현된다.
• RNTN에 두 가지 페르투베이션 메커니즘을 적용한다: (1) 부분공간 샘플링, 즉 각 순전파에서 반만의 잠재 차원을 사용하고, (2) 가중치 흐림처리, 즉 훈련 중에 매개변수를 평균 0인 가우시안 노이즈로 페르투베이션하는 방식이다.
• 가중치 흐림처리는 손실 함수를 가우시안로 복합화하는 것으로 간주되며, 곡률을 감소시키고 최적화 안정성을 향상시킨다.
• 특히 RNTN처럼 $ \mathcal{O}(n^3) $ 복잡도를 가지는 모델의 경우 필수적인 계산 효율성을 유지하기 위해 매개변수 절단 기법을 사용한다.
• 이 프레임워크는 준감독 학습으로 자연스럽게 확장되며, 실제 데이터셋에서 기존 방법들을 능가하는 성능을 기록한다.

실험 결과

연구 질문

• RQ1 드롭아웃과 특성 노이징 같은 방법들을 통합하는 단일한 모델 페르투베이션 프레임워크로서 가짜 앙상블을 체계적으로 정의할 수 있는가?
• RQ2 독립적인 모델 훈련에 의존하는 전통적 앙상블 방법과 가짜 앙상블 간의 관계는 무엇인가?
• RQ3 모델 공간의 페르투베이션에 강건한 정규화 기법이 표준 드롭아웃보다 완전 감독 설정에서 성능을 뛰어나게 할 수 있는가?
• RQ4 이 정규화 기법은 이전에 널리 적용되지 않았던 준감독 학습 환경으로 일반화될 수 있는가?
• RQ5 잠재 공간과 매개변수에 대한 체계적인 페르투베이션을 통해 강력한 모델인 RNTN의 성능을 크게 향상시킬 수 있는가?

주요 결과

• 제안된 정규화 기법은 완전 감독 설정에서 표준 드롭아웃과 동등한 성능을 기록하여 그 효과를 검증한다.
• 이 방법은 준감독 학습에서 최고 성능을 기록하며, 실제 데이터셋에서 기존 접근 방식을 능가한다.
• 재귀적 신경 텐서 네트워크에 적용했을 때, 부분공간 샘플링과 가중치 흐림처리를 모두 사용한 가짜 앙상블 접근법이 이진 감성 분류 작업에서 88.9%의 정확도를 달성하여 원래 RNTN과 다른 기준 모델을 초월했다.
• 부분공간 샘플링만으로도 원래 RNTN보다 성능 향상이 있었고, 가중치 흐림처리가 이를 추가로 향상시켰으며, 두 페르투베이션 방식이 성능 향상에 덧셈적으로 기여했다.
• 두 페르투베이션 유형의 조합은 원래 RNTN보다 더 컴act한 모델의 성능을 원래의 전체 RNTN를 초월하게 했으며, 이는 체계적인 모델 공간 정규화의 힘을 보여준다.
• 매개변수 절단 기법을 사용함으로써 $ \mathcal{O}(n^3) $ 복잡도를 가지는 RNTN의 경우에도 큰 모델의 효율적 훈련이 가능했으며, 이는 메서드의 확장성과도 연결된다.