[논문 리뷰] Unsupervised Submodular Rank Aggregation on Score-based Permutations

Jun Qi, Liu, Xu외 2명|arXiv (Cornell University)|2017. 07. 04.

Rough Sets and Fuzzy Logic참고 문헌 16인용 수 3

한 줄 요약

이 논문은 점수 기반 순서화에 대해 Lovász Bregman (LB) 산란도를 사용하는 비지도 하위모듈러 순서 집계 프레임워크를 제안한다. 이는 볼록이고 중첩된 구조 최적화를 활용하여 다수의 소스로부터의 순서를 통합한다. 이 방법은 지도 학습이 없는 조건에서 분산된 신경망 출력을 효과적으로 집계함으로써 음성 인식에서 최신 기술 성능을 달성하며, 18.1%의 텔레폰 오차율을 기록하여 기준선인 Adaboost 방법보다 1.2% 향상시켰다.

ABSTRACT

Unsupervised rank aggregation on score-based permutations, which is widely used in many applications, has not been deeply explored yet. This work studies the use of submodular optimization for rank aggregation on score-based permutations in an unsupervised way. Specifically, we propose an unsupervised approach based on the Lovasz Bregman divergence for setting up linear structured convex and nested structured concave objective functions. In addition, stochastic optimization methods are applied in the training process and efficient algorithms for inference can be guaranteed. The experimental results from Information Retrieval, Combining Distributed Neural Networks, Influencers in Social Networks, and Distributed Automatic Speech Recognition tasks demonstrate the effectiveness of the proposed methods.

연구 동기 및 목표

• 점수 기반 순서화에 특화된 비지도 순서 집계 방법의 부족을 해결하기 위해, 순서가 상대적 순서가 아니라 수치적 점수로 표현되는 경우를 대상으로 한다.
• 하위모듈러 최적화와 비지도 순서 집계 간 격차를 메우기 위해, 점수 기반 순서화에 대해 Lovász Bregman 산란도를 볼록 목적 함수로 재구성한다.
• 분산 딥 러닝 및 정보 검색과 같은 대규모 응용 분야에 적합한 효율적인 추론 및 확률적 최적화 알고리즘을 개발한다.
• 중첩된 구조적 공식화가 선형 및 기존 기준선 대비 성능 향상에 기여하는지를 입증한다.
• 특히 관련 점수 확보가 비용이 많이 들거나 불가능한 환경에서, 다수의 모델 출력을 확장 가능하고 레이블 없이 집계할 수 있도록 한다.

제안 방법

• 하위모듈러 함수와 그 Lovász 확장도를 활용하여, 점수 기반 순서화와 순서 기반 공통의 순서 간 산란도를 측정하기 위해 Lovász Bregman (LB) 산란도를 유틸리티 함수로 설정한다.
• LB 산란도를 기반으로 선형 구조 최적화 목적 함수를 구성하여, 집계된 점수와 공통 순서 간의 산란도를 최소화한다.
• 계층적 의존성을 모델링하기 위해 중첩된 구조적 오목 최적화 프레임워크를 도입하여 표현 능력을 향상시킨다.
• 대규모 분산 모델 출력에서 효율적인 학습을 가능하게 하기 위해 확률적 최적화 기법을 적용한다.
• 비볼록인 중첩된 공식화의 해를 반복적으로 근사하면서 수렴 보장을 유지하기 위해 최소화-최대화(Minorization-Maximization, MMAX) 알고리즘을 사용한다.
• 입력 점수 벡터와 하위모듈러 함수 기울기의 차이 간 내적을 사용하여 목적 함수를 정의한다: $ d_{ ilde{f}}( extbf{x}||oldsymbol{ heta}) = extbf{x}^ op (h_{oldsymbol{ heta}}^f - h_{oldsymbol{ heta}}^f) $, 여기서 $ h $ 는 하위모듈러 함수 증분 벡터를 나타낸다.

실험 결과

연구 질문

• RQ1 입력이 상대적 순서가 아니라 수치적 점수인 점수 기반 순서화에 대해 Lovász Bregman 산란도가 비지도 순서 집계에 효과적으로 적용될 수 있는가?
• RQ2 제안된 선형 구조 최적화 공식화는 평균화나 ULARA와 같은 기존 비지도 집계 방법에 비해 성능 및 확장성 측면에서 어떻게 비교되는가?
• RQ3 실제 응용 분야인 음성 인식과 같은 환경에서, 중첩된 구조적 오목 공식화가 선형 및 기준선 방법에 비해 유의미한 성능 향상을 제공하는가?
• RQ4 이러한 방법이 수천 개의 순서화와 고차원 출력을 포함하는 대규모 데이터셋에 얼마나 잘 스케일링되는가?
• RQ5 모델 아키텍처의 깊이가 중첩된 구조적 LB 산란도 공식화의 성능에 미치는 영향은 무엇이며, 더 깊은 구조는 효과적으로 최적화될 수 있는가?

주요 결과

• 중첩된 구조적 LB 산란도 공식화는 TIMIT 데이터셋에서 텔레폰 오차율(PER) 18.1%를 기록하여 Adaboost 기준선(18.3%)과 모든 테스트된 다른 방법들을 능가했다.
• Adaboost 기준선 대비 PER를 1.2%포인트 향상시켜 분산 음성 인식 환경에서 유의미한 성능 향상을 입증했다.
• 선형 구조 공식화는 PER 18.7%를 기록하여 평균화(20.1%)와 ULARA(19.5%)보다 우수했지만, 중첩 구조 공식화보다 열등했다.
• 제안된 방법은 음성 인식에서 8개의 분산 DNN 출력을 조합하는 데서 최신 기술 성능을 달성하여 실세계 응용 분야에서의 효과성을 입증했다.
• 저연산 복잡도와 효율적인 확률적 최적화 덕분에 확장성이 뛰어나며, 최소한의 감독 정보로 대규모 데이터셋에서의 학습이 가능했다.
• 중첩된 구조의 성능 향상은 집계 과정에서 계층적 의존성을 더 잘 모델링하기 때문이지만, 데이터의 강제 정렬 편향으로 인해 개선 폭은 미미했다.