[논문 리뷰] Regression-based Hypergraph Learning for Image Clustering and Classification

Sheng Huang, Dan Yang외 2명|arXiv (Cornell University)|2016. 03. 14.

Face and Expression Recognition참고 문헌 37인용 수 5

한 줄 요약

이 논문은 이미지 클러스터링 및 분류 성능을 향상시키기 위해 희박하고 협업적인 회귀 모델을 사용하여 고품질의 초그래프를 구축하는 새로운 프레임워크인 회귀 기반 초그래프(RH)를 제안한다. 초그래프 스펙트럴 클러스터링 및 전도성에 RH를 통합함으로써, 여섯 개인 기준 이미지 데이터베이스에서 최신 기술 수준의 성능을 달성하며, 기존의 이웃 기반 초그래프 방법에 비해 뛰어난 강건성과 정확성을 입증한다.

ABSTRACT

Inspired by the recently remarkable successes of Sparse Representation (SR), Collaborative Representation (CR) and sparse graph, we present a novel hypergraph model named Regression-based Hypergraph (RH) which utilizes the regression models to construct the high quality hypergraphs. Moreover, we plug RH into two conventional hypergraph learning frameworks, namely hypergraph spectral clustering and hypergraph transduction, to present Regression-based Hypergraph Spectral Clustering (RHSC) and Regression-based Hypergraph Transduction (RHT) models for addressing the image clustering and classification issues. Sparse Representation and Collaborative Representation are employed to instantiate two RH instances and their RHSC and RHT algorithms. The experimental results on six popular image databases demonstrate that the proposed RH learning algorithms achieve promising image clustering and classification performances, and also validate that RH can inherit the desirable properties from both hypergraph models and regression models.

연구 동기 및 목표

• 이웃 기반 초그래프 구축의 한계를 해결하기 위해, 노이즈에 민감하고 진정한 데이터 관계를 포착하지 못하는 문제를 해결한다.
• 희박 표현(SR)과 협업 표현(CR)을 포함한 회귀 모델의 강력한 분류 능력과 노이즈에 대한 강건성을 활용하여 더 정확한 초그래프를 구축한다.
• 기존의 초그래프 학습 철학, 예를 들어 스펙트럴 클러스터링과 전도성과 같은 기반 프레임워크에 통합 가능한 일반화 가능한 프레임워크를 개발한다.
• 다양한 이미지 데이터셋에서 제안된 RHSC 및 RHT 모델의 유효성을 검증하여 클러스터링 및 분류 작업에서 향상된 성능을 입증한다.

제안 방법

• 회귀 기반 초그래프(RH) 프레임워크는 각 샘플을 다른 모든 샘플과의 회귀 시스템으로 모델링하여 상호 샘플 간 상관관계를 회귀 계수로 측정함으로써 초그래프를 구축한다.
• 각 샘플과 그 상위 m개의 상관관계가 높은 샘플들이 초간선을 형성하며, 초간선 내부의 평균 상관관계가 그 가중치로 사용된다.
• 희박 표현(L1-정규화된 회귀)과 협업 표현(L2-정규화된 회귀)을 사용하여 두 가지 RH 인스턴스를 생성함으로써, L1-HSC/L1-HT 및 L2-HSC/L2-HT 알고리즘을 도출한다.
• RH 모델은 전통적인 두 가지 초그래프 학습 프레임워크인 초그래프 스펙트럴 클러스터링(HSC)과 초그래프 전도성(HT)에 통합되어 RHSC 및 RHT를 형성한다.
• 성능 최적화를 위해 회귀 모델의 정규화 파라미터 β와 레이블링 오차 및 초그래프 분할 손실 간 균형을 맞추는 데 사용되는 λ를 사용한다.
• 초간선 길이 t는 여러 데이터셋을 대상으로 경험적으로 조정되어 클러스터링 및 분류 정확도를 극대화한다.

실험 결과

연구 질문

• RQ1 회귀 기반 초그래프 구축이 기존의 이웃 기반 방법에 비해 이미지 클러스터링 및 분류 작업에서 진정한 데이터 관계를 더 잘 포착할 수 있는가?
• RQ2 희박 표현과 협업 표현의 성질이 이미지 학습 작업에서 초그래프 구축 품질에 어떤 영향을 미치는가?
• RQ3 다양한 이미지 데이터셋에서 강건한 성능을 달성하기 위해 최적의 하이퍼파라미터 β, λ, t 조합은 무엇인가?
• RQ4 RH 프레임워크가 실제 시각 응용 분야에서 초그래프 모델과 회귀 모델의 유리한 특성을 얼마나 잘 계승하는가?

주요 결과

• 제안된 RHSC 및 RHT 모델은 ORL, AR, COIL20, ETH80, Scene15, Caltech256를 포함한 여섯 개인 인기 있는 이미지 데이터베이스에서 최신 기술 수준의 성능을 달성한다.
• L1-HSC 및 L2-HSC는 파라미터 β에 대해 매우 강건하며, 데이터셋에 따라 최적의 β 값은 10−5에서 10−1 사이이며, 높은 클러스터링 정확도와 NMI 점수를 달성한다.
• L1-HT 및 L2-HT는 λ > 1일 때 최고의 분류 성능을 보이며, 다양한 데이터셋에서 최적의 초간선 길이 t는 5에서 35 사이로 변동한다.
• RH 프레임워크는 특히 노이즈 조건에서 기존의 이웃 기반 초그래프 방법보다 뛰어난 성능을 보이며, 관련 샘플 선택 시 우수한 히트율을 보여줌으로써 항상 뛰어난 강건성을 입증한다.
• 이 방법은 SR 및 CR의 강력한 분류 능력을 계승하여 k-NN 기반 접근 방식보다 더 정확하고 노이즈에 강건한 초그래프 구축이 가능하다.
• 경험적 결과는 RH가 복잡한 데이터 관계를 효과적으로 포착하여 비지도 클러스터링 및 준지도 분류 작업 모두에서 성능 향상을 이끌어낸다고 확인한다.