[논문 리뷰] Semi-Supervised Phone Classification using Deep Neural Networks and Stochastic Graph-Based Entropic Regularization

Sunil Thulasidasan, Jeffrey A. Bilmes|arXiv (Cornell University)|2016. 12. 15.

Speech Recognition and Synthesis참고 문헌 19인용 수 5

한 줄 요약

이 논문은 깊이 신경망을 사용한 준지도 학습적 전화 분류를 위한 확률적이고 그래프 기반의 엔트로피 정규화 방법을 제안한다. 제어된 다양성과 이웃 연결성을 갖춘 그래프 분할 미니배치에서 메타배치를 구성함으로써, 낮은 레이블 데이터 환경에서 정확도를 크게 향상시키면서도 효율적이고 확장 가능한 학습을 가능하게 한다. 이는 완전히 레이블이 붙은 설정에서도 경쟁력을 유지한다.

ABSTRACT

We describe a graph-based semi-supervised learning framework in the context of deep neural networks that uses a graph-based entropic regularizer to favor smooth solutions over a graph induced by the data. The main contribution of this work is a computationally efficient, stochastic graph-regularization technique that uses mini-batches that are consistent with the graph structure, but also provides enough stochasticity (in terms of mini-batch data diversity) for convergence of stochastic gradient descent methods to good solutions. For this work, we focus on results of frame-level phone classification accuracy on the TIMIT speech corpus but our method is general and scalable to much larger data sets. Results indicate that our method significantly improves classification accuracy compared to the fully-supervised case when the fraction of labeled data is low, and it is competitive with other methods in the fully labeled case.

연구 동기 및 목표

• 깊이 신경망에서 준지도 학습을 위한 계산적으로 효율적이고 확률적인 그래프 정규화 기법을 개발한다.
• 그래프 인식 미니배치 구성으로 인해 데이터 분포 성질을 유지하면서 확률적 경사 하강법 수렴을 가능하게 한다.
• 낮은 레이블 데이터 환경에서 TIMIT 코퍼스의 프레임 단위 전화 분류 정확도를 향상시킨다.
• 이 방법을 TIMIT를 초월해 더 큰 데이터셋과 다른 분류 작업으로 일반화한다.
• 최적의 정규화 성능를 위해 메타배치에서의 확률성과 이웃 연결성의 균형을 맞춘다.

제안 방법

• 이 방법은 지도 학습 교차 엔트로피 손실, 그래프 기반 엔트로피 정규화, 엔트로피 및 L2 정규화를 조합한 매개변수 기반 목표 함수를 사용한다.
• 균형 잡히고 연결된 하위군을 보장하면서 데이터 다양성을 유지하기 위해 재귀적 그래프 분할(METIS 등)을 통해 메타배치를 구성한다.
• 배치 외부 이웃을 대상으로 확률적 정규화를 적용하여 수렴을 위한 충분한 다양성을 갖춘 기울기 갱신을 가능하게 한다.
• 데이터 유사도(예: 코사인 또는 RBF 커널)에서 생성된 그래프를 사용하여 연결된 노드 간 모델 예측의 스무딩을 강제한다.
• 이 프레임워크는 ReLU 활성화 함수와 드롭아웃을 갖춘 MLP 및 깊이 신경망 모두를 지원하며, 적응 최적화를 통해 장기 학습을 가능하게 한다.
• 메타배치 구성은 정규화 효능을 위해 배치 다양성(엔트로피)과 이웃 연결성 간의 트레이드오프 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 확률적 그래프 정규화는 낮은 레이블 데이터 환경에서 준지도 학습적 전화 분류 정확도를 향상시킬 수 있는가?
• RQ2 메타배치의 다양성과 이웃 연결성 간의 트레이드오프는 모델 성능에 어떤 영향을 미치는가?
• RQ3 미니배치 학습을 사용하여 그래프 기반 정규화를 깊이 신경망에 효율적으로 적용할 수 있는가?
• RQ4 제안된 방법은 이전의 그래프 기반 준지도 학습 방법과 정확도 및 확장성 측면에서 어떻게 비교되는가?
• RQ5 낮은 레이블 설정에서 균일 분포를 엔트로피 사전으로 사용할 경우, 첫 번째 단계 분류기에서 유도된 사전 분포보다 성능이 뛰어나거나 유사한가?

주요 결과

• 제안된 확률적 그래프 정규화 방법은 TIMIT 코퍼스에서 낮은 레이블 시나리오에서 프레임 단위 전화 분류 정확도를 크게 향상시킨다.
• MLP의 경우, 기본 지도 학습 모델과 이전의 그래프 정규화 방법보다 뛰어나며, 특히 낮은 레이블 비율에서 두각을 나타낸다.
• DNN의 경우, [3]번 선행 연구보다 더 높은 정확도를 달성했고, 균일 사전을 사용함에도 불구하고 비모수적 방법 [4]보다 뛰어나다.
• 시험 오차 곡선은 메타배치 다양성과 이웃 연결성 간 최적의 트레이드오프를 보여주며, 연결성이 너무 낮아지면 성능이 저하됨을 확인한다.
• 완전히 레이블이 붙은 경우에도 경쟁적인 성능을 유지하여 확장성과 강건성을 입증한다.
• 그래프 분할과 배치 외부 정규화를 갖춘 메타배치 사용은 깊이 신경망에서 충분한 확률성을 확보하면서도 효율적이고 수렴 가능한 학습을 가능하게 한다.