[논문 리뷰] Mean-Field Networks

Yujia Li, Richard S. Zemel|arXiv (Cornell University)|2014. 10. 21.

Neural Networks and Applications참고 문헌 9인용 수 19

한 줄 요약

이 논문은 평균장 추론 알고리즘을 계층 간 가중치가 연결된 순방향 신경망으로 모델링하는 메인필드 네트워크(MFNs)를 소개한다. 가중치 연결을 완화하고 역전파로 재학습함으로써 MFNs는 표준 평균장 대비 더 빠른 추론과 뛰어난 분류 성능을 달성하며, 특히 반복 횟수가 적을 경우에 유의미한 성능 향상을 보인다. 예를 들어, MFN-10은 정확도와 수렴 속도 면에서 MF-30을 능가한다.

ABSTRACT

The mean field algorithm is a widely used approximate inference algorithm for graphical models whose exact inference is intractable. In each iteration of mean field, the approximate marginals for each variable are updated by getting information from the neighbors. This process can be equivalently converted into a feedforward network, with each layer representing one iteration of mean field and with tied weights on all layers. This conversion enables a few natural extensions, e.g. untying the weights in the network. In this paper, we study these mean field networks (MFNs), and use them as inference tools as well as discriminative models. Preliminary experiment results show that MFNs can learn to do inference very efficiently and perform significantly better than mean field as discriminative models.

연구 동기 및 목표

• 평균장 추론 알고리즘을 계층 간 가중치가 연결된 순방향 신경망으로 재구성하는 것.
• 가중치 연결의 완화와 네트워크 구조의 유연화를 통해 추론 효율성과 분류 성능 향상을 탐색하는 것.
• 구조적 예측 작업을 위한 추론 엔진과 종단간 분류 모델 모두로서 MFNs의 성능을 평가하는 것.
• 특히 반복 횟수가 제한된 경우에 표준 평균장 추론보다 정확도와 수렴 속도 면에서 MFNs가 뛰어나다는 것을 입증하는 것.

제안 방법

• 각 평균장 반복을 순방향 레이어로 매핑하며, 변수는 노드로, 메시지는 활성화로, 잠재변수들은 학습 가능한 가중치와 편향으로 표현한다.
• 소프트맥스 비선형성을 사용하여 평균장 업데이트 규칙을 순방향 연산으로 표현함으로써 미분 가능한 네트워크 구조를 형성한다.
• KL 발산 또는 허프만 손실을 최소화하기 위해 역전파를 통해 MFNs를 학습함으로써 추론 및 분류 목표의 종단간 최적화를 가능하게 한다.
• 계층 간 가중치 연결을 완화함(가중치 해제 MFNs)으로써 각 레이어가 독립적인 파라미터를 학습할 수 있도록 하여 표현력과 수렴 성능 향상.
• 조건부 랜덤 필드(CRF)를 기반 그래픽 모델로 사용하며, 단일 및 이원 잠재변수들은 특징과 간선 페널티로 매개변수화한다.
• 기울기 기반 최적화를 적용하여 추론 및 분류 모델링을 위한 파라미터를 학습하며, 반복적 추론을 미분 가능한 서브루틴으로 활용한다.

실험 결과

연구 질문

• RQ1 평균장 추론 알고리즘은 계층 간 가중치가 연결된 깊은 순방향 신경망으로 효과적으로 재구성될 수 있는가?
• RQ2 이러한 네트워크에서 계층 간 가중치 연결을 해제하면 표준 평균장 대비 추론 정확도와 수렴 속도가 향상되는가?
• RQ3 MFNs는 구조적 예측 작업을 위한 효과적인 분류 모델이 될 수 있는가? 기존 평균장 추론을 능가하는가?
• RQ4 특히 더 많은 반복 횟수를 가진 표준 평균장과 비교할 때, MFNs의 성능은 레이어 수(반복 횟수)에 따라 어떻게 변화하는가?
• RQ5 종단간 분류 목표로 MFNs를 훈련하는 것의 이점은 무엇이며, 단순 추론용으로 사용하는 것과 비교해 어떤가?

주요 결과

• MFN-10은 단지 10회의 반복만으로도 MF-30보다 더 낮은 KL 발산(-12908.80)을 기록하여 더 빠르고 정확한 추론을 보였다.
• MFN-10은 테스트 정확도 면에서 MF-30를 능가하여, MFNs가 더 적은 반복 횟수로도 더 우수한 성능을 달성할 수 있음을 입증했다.
• 가중치 해제된 MFN(MFN-3)은 테스트 정확도 0.8151을 기록하여, 학습된 파라미터를 가진 MF-30(0.8109)을 뛰어넘었으며, 모든 평균장 기반 모델보다 뛰어난 성능을 보였다.
• 표준 학습률을 사용한 MFN-3-t(가중치 연결)는 안정적인 수렴에 실패한 반면, 가중치 해제 학습은 더 빠른 수렴과 높은 성능을 가능케 했다.
• MFNs의 각 레이어에서의 기울기가 상당히 다름을 확인하여, 레이어별 최적화를 가능하게 하기 위해 가중치 해제가 타당하다는 것을 입증했다.
• 분류 모델로 훈련된 MFNs는 테스트 정확도 0.8151을 달성하여, 학습된 파라미터를 가진 MF-30(0.8109)을 초월하여 강력한 분류 능력을 보였다.