[논문 리뷰] A Quest for Structure: Jointly Learning the Graph Structure and Semi-Supervised Classification

Xuan Wu, Lingxiao Zhao외 1명|arXiv (Cornell University)|2019. 09. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 7

한 줄 요약

이 논문은 기울기 기반 최적화와 동적 자원 할당 전략을 통해 차원별 RBF 대역폭을 적응적으로 조정함으로써 그래프 구조와 준지도 학습 분류를 동시에 최적화하는 병렬 그래프 학습 프레임워크 PG-learn을 제안한다. 고차원이고 노이즈가 많은 데이터셋에서 고정된 시간 예산 내에서 기존 방법들보다 뚜렷이 높은 정확도를 달성하며, 강건성과 확장성을 입증한다.

ABSTRACT

Semi-supervised learning (SSL) is effectively used for numerous classification problems, thanks to its ability to make use of abundant unlabeled data. The main assumption of various SSL algorithms is that the nearby points on the data manifold are likely to share a label. Graph-based SSL constructs a graph from point-cloud data as an approximation to the underlying manifold, followed by label inference. It is no surprise that the quality of the constructed graph in capturing the essential structure of the data is critical to the accuracy of the subsequent inference step [6]. How should one construct a graph from the input point-cloud data for graph-based SSL? In this work we introduce a new, parallel graph learning framework (called PG-learn) for the graph construction step of SSL. Our solution has two main ingredients: (1) a gradient-based optimization of the edge weights (more specifically, different kernel bandwidths in each dimension) based on a validation loss function, and (2) a parallel hyperparameter search algorithm with an adaptive resource allocation scheme. In essence, (1) allows us to search around a (random) initial hyperparameter configuration for a better one with lower validation loss. Since the search space of hyperparameters is huge for high-dimensional problems, (2) empowers our gradient-based search to go through as many different initial configurations as possible, where runs for relatively unpromising starting configurations are terminated early to allocate the time for others. As such, PG-learn is a carefully-designed hybrid of random and adaptive search. Through experiments on multi-class classification problems, we show that PG-learn significantly outperforms a variety of existing graph construction schemes in accuracy (per fixed time budget for hyperparameter tuning), and scales more effectively to high dimensional problems.

연구 동기 및 목표

• 준지도 학습(SSL)에서 그래프 구조 학습이라는 중요한 그러나 미처 탐색되지 않은 과제를 해결하기 위해, 열악한 그래프 구조로 인한 분류 성능 저하 문제를 해결한다.
• 기본적인 유사도 측정 방법(고정된 대역폭을 가진 RBF 등)에 의존하는 것이 아니라, 레이블이 부여된 데이터를 활용해 작업 중심의 확장 가능한 접근법을 개발한다.
• 고차원 데이터에서 하이퍼파rameter의 금방 찾기 어려운 탐색 공간을 기울기 기반 최적화와 적응형 병렬 하이퍼파rameter 검색을 융합하여 극복한다.
• 유망한 구성에 자원을 동적으로 할당하는 효율적이고 효과적인 하이퍼파rameter 튜닝을 가능하게 하여 정확도와 확장성 향상을 도모한다.
• 차원별 대역폭 학습이 노이즈가 많은 특성 환경에서 모델의 유연성과 강건성을 향상시킨다는 점을 입증한다.

제안 방법

• PG-learn는 검증 손실 함수를 최소화하기 위해 차원별 RBF 대역폭(σ₁:d)을 기울기 기반 최적화를 통해 조정함으로써 데이터 다양체의 구조에 적응하는 탄력적인 간선 가중치를 가능하게 한다.
• 각 차원의 가중치로 매aram터화된 학습-순위 목표 함수를 도입하여 기울기 하강법을 반복적으로 최적화함으로써 후속 준지도 학습을 위한 그래프 품질을 향상시킨다.
• 조기 종료 기반의 병렬 하이퍼파rameter 검색을 구현함으로써, 상대적 성능이 열악한 구성은 조기에 종료되어 더 유망한 구성에 자원이 할당되도록 한다.
• 수렴 속도가 빠르거나 검증 정확도가 높은 구성에 우선순위를 두며, 시간이 지남에 따라 검색 해상도를 적응적으로 향상시키는 적응형 자원 할당 전략을 사용한다.
• 무작위 검색과 적응형 검색 전략을 융합하여 고차원 환경에서 광범위한 하이퍼파rameter 공간을 효율적으로 탐색하는 하이브리드 접근법을 형성한다.
• PG-learn는 차원 수와 샘플 수 양면에서 확장 가능하며, 낮은 메모리 및 런타임 오버헤드를 가지므로 대규모 준지도 학습 작업에 적합하다.

실험 결과

연구 질문

• RQ1 기존 그래프 구조 생성 방법과 비교해 그래프 구조와 준지도 학습 분류를 공동 최적화하는 것이 분류 정확도 향상에 기여하는가?
• RQ2 고차원이고 노이즈가 많은 데이터셋에서 차원별 RBF 대역폭을 학습하는 것이 성능에 어떤 영향을 미치는가?
• RQ3 기울기 기반 최적화와 적응형 자원 할당 전략을 융합한 하이브리드 검색 전략이 기존의 그리드 검색 또는 무작위 검색보다 하이퍼파라미터 튜닝에서 더 우수한 성능을 내는가?
• RQ4 노이즈가 많은 특성이 다수 포함된 데이터에 대해 PG-learn가 높은 정확도를 유지하는 정도는 어느 정도인가?
• RQ5 고정된 시간 또는 균일한 검색 전략에 비해 PG-learn의 동적 자원 할당 전략은 효율성과 확장성 측면에서 어떤 개선을 이룬다?

주요 결과

• 모든 데이터셋에서 노이즈 특성 100%가 추가된 조건에서 PG-learn는 MinEnt, Grid, Rand d와 같은 모든 베이스라인보다 유의미하게 높은 테스트 정확도를 확보했으며, 대응 검정(Wilcoxon signed-rank test)에서 p < 0.01을 기록했다.
• COIL 데이터셋에서 PG-learn는 15분 시간 예산 내에 90.44%의 테스트 정확도를 달성했으며, MinEnt(81.97%), Grid(63.11%), Rand d(69.54%)를 압도적으로 앞섰다.
• MNIST 데이터셋에서 PG-learn는 고차원성과 노이즈가 높은 환경에서도 86.34%의 테스트 정확도를 기록했으며, MinEnt(80.06%), Grid(79.32%), Rand d(66.68%)를 뛰어넘었다.
• Yale 데이터셋(n=320, d≈2K)에서 PG-learn는 68.59%의 정확도를 유지했으며, MinEnt(56.71%), Grid(59.25%), Rand d(52.98%)보다 뚜렷이 높아 소수의 샘플과 고노이즈 환경에 대한 강건성을 입증했다.
• 32개 스레드에서 PG-learn의 검증 및 테스트 정확도는 시간이 지남에 따라 지속적으로 향상되었고, Grid와 Rand d는 평탄하거나 느리게 감소하는 오차 곡선을 보이며, 더 나은 수렴성과 검색 효율성을 나타냈다.
• 그림 6은 PG-learn가 주입된 노이즈 특성(d+1:2d)에 대해 유의미하게 낮은 가중치를 할당한다는 것을 확인하며, 불필요한 차원을 걸러내는 기능을 갖춘다는 점을 입증한다.