[논문 리뷰] EquiNMF: Graph Regularized Multiview Nonnegative Matrix Factorization

Daniel Hidru, Anna Goldenberg|arXiv (Cornell University)|2014. 09. 14.

Advanced Image and Video Retrieval Techniques참고 문헌 13인용 수 30

한 줄 요약

EquiNMF는 비지도 학습 및 데이터 특화 방식으로 최적의 파라미터를 자동으로 학습하는 그래프 정규화 다중시각 비음수 행렬 분해 방법을 제안한다. 모든 시각에서 동일한 기여를 강제하고 내재된 데이터 구조를 유지하기 위해 그래프 정규화를 통합함으로써, EquiNMF는 여러 영상 데이터셋에서 기존 단일시각 및 다중시각 NMF 기준선을 일관되게 능가하는 뛰어난 군집 정확도를 달성한다.

ABSTRACT

Nonnegative matrix factorization (NMF) methods have proved to be powerful across a wide range of real-world clustering applications. Integrating multiple types of measurements for the same objects/subjects allows us to gain a deeper understanding of the data and refine the clustering. We have developed a novel Graph-reguarized multiview NMF-based method for data integration called EquiNMF. The parameters for our method are set in a completely automated data-specific unsupervised fashion, a highly desirable property in real-world applications. We performed extensive and comprehensive experiments on multiview imaging data. We show that EquiNMF consistently outperforms other single-view NMF methods used on concatenated data and multi-view NMF methods with different types of regularizations.

연구 동기 및 목표

• 다양한 데이터 시각을 통합하면서도 그 내재된 기하학적 구조를 유지함으로써 군집 성능을 향상시키는 데 도전하는 것.
• 특히 정규화 가중치와 시각 기여도에 대한 수동 또는 감독된 파라미터 조정이 필요 없도록 다중시각 NMF에서의 파라미터 조정을 제거하는 것.
• 공동 합의 행렬에 의존하지 않고 모든 시각에서 동일한 기여를 유지하는 방법을 개발함으로써 최적화를 단순화하고 강건성을 향상시키는 것.
• 각 시각 내 국소 데이터 구조를 캡처하기 위해 다중시각 NMF에 그래프 정규화를 통합함으로써 군집 성능을 향상시키는 것.
• 다양한 데이터셋에서 스케일이 가능하고 일관된 방식으로 작동하는 완전히 비지도이자 데이터 적응형 파라미터 추정 전략을 제공하는 것.

제안 방법

• 공동 합의 행렬을 사용하지 않고 모든 시각에서 동일한 기여를 명시적으로 강제함으로써 그래프 정규화와 다중시각 NMF를 결합한 새로운 목적 함수를 제안한다.
• 각 시각의 분해가 그래프 라플라시안을 통해 정규화되는 재구성된 최적화 문제를 도입하여 유사한 데이터 포인트가 유사한 저차원 표현을 가지도록 보장한다.
• 대칭적 유사도 행렬 $W$ 와 그에 대응하는 라플라시안 $\Delta = D - W$ 를 사용하여 각 시각 내 국소 기하학적 구조를 인코딩한다.
• 재구성 오차와 그래프 정규화 항을 모두 포함하는 반복적 승법 업데이트 규칙을 적용한다: $V_{j,k} \leftarrow V_{j,k} \frac{(X^T U)_{j,k} + \gamma (WV)_{j,k}}{(V U^T U)_{j,k} + \gamma (D V)_{j,k}}$.
• 교차 검증을 피하기 위해 히우리스틱을 사용하여 그래프 정규화 파라미터 $\gamma$ 를 자동으로 설정함으로써 실세계 비지도 환경에서의 강건성을 확보한다.
• 계산 비용을 증가시키지 않으면서도 성능 저하를 방지하기 위해 노이즈가 첨가된 k-means를 활용한 안정적인 초기화 전략을 사용한다.

실험 결과

연구 질문

• RQ1 국소 데이터 구조를 각 시각 내에서 유지함으로써 그래프 정규화가 다중시각 NMF 성능을 향상시킬 수 있는가?
• RQ2 공동 합의 행렬이나 복잡한 최적화 스케줄링에 의존하지 않고 다중시각 NMF에서 여러 시각의 동일한 기여를 어떻게 강제할 수 있는가?
• RQ3 레이블이 가용하지 않은 비지도 다중시각 환경에서 자동 파라미터 조정이 군집 성능에 미치는 영향은 무엇인가?
• RQ4 제안된 방법은 다양한 시각 기여도와 데이터 구조를 가진 다양한 데이터셋에서도 강건성과 일관성을 유지하는가?
• RQ5 다양한 파라미터 설정 하에서 기존의 다중시각 NMF 방법과 비교해 EquiNMF는 정확도와 안정성 측면에서 어떻게 다른가?

주요 결과

• EquiNMF는 세 개의 영상 데이터셋에서 연결된 데이터에 대한 단일시각 NMF와 다양한 정규화를 적용한 다른 다중시각 NMF 방법보다 일관되게 뛰어난 군집 정확도를 달성한다.
• 교차 검증이 필요 없이 히우리스틱을 통해 자동으로 $\gamma$ 를 설정함으로써도 뛰어난 군집 정확도를 확보한다.
• 그래프 정규화가 과도하게 강조될 경우 성능이 크게 저하되며, 이는 동일한 시각 기여도(승수 = 1)에서 최적의 균형이 달성됨을 시사한다.
• 공동 합의 행렬이 없기 때문에 최적화 과정이 단순화되고, 시각별 요소와 공통 합의를 번갈아 업데이트할 필요가 없어져 수렴성과 안정성이 향상된다.
• 무작위 초기화는 성능의 고분산을 초래하지만, 제안된 노이즈가 첨가된 k-means 초기화 전략은 최소한의 계산 비용으로 안정적이고 높은 성능을 보인다.
• 다양한 데이터셋에 대한 강건성을 입증한다: 경쟁 방법들은 한 데이터셋에선 잘 작동하지만 다른 데이터셋에선 성능이 떨어지는 반면, EquiNMF는 모든 테스트 데이터셋에서 일관된 성능을 유지한다.