[논문 리뷰] JITuNE: Just-In-Time Hyperparameter Tuning for Network Embedding Algorithms

Mengying Guo, Tao Yi외 2명|arXiv (Cornell University)|2021. 01. 16.

Advanced Graph Neural Networks참고 문헌 33인용 수 4

한 줄 요약

JITUne는 시간 제약 조건 내에서 네트워크 임bedding 알고리즘의 하이퍼파rameter 튜닝을 가속화하기 위한 즉시 튜닝 프레임워크를 제안한다. 계층적 네트워크 요약과 지식 전이를 통해 제한된 시간 예산 내에서 최신 기술 성능을 달성한다. 이는 점차 더粗화된 네트워크 표현에서 튜닝하고 최적의 설정을 전체 네트워크로 전이함으로써 더 빠르고 효율적인 최적화를 가능하게 한다.

ABSTRACT

Network embedding (NE) can generate succinct node representations for massive-scale networks and enable direct applications of common machine learning methods to the network structure. Various NE algorithms have been proposed and used in a number of applications, such as node classification and link prediction. NE algorithms typically contain hyperparameters that are key to performance, but the hyperparameter tuning process can be time consuming. It is desirable to have the hyperparameters tuned within a specified length of time. Although AutoML methods have been applied to the hyperparameter tuning of NE algorithms, the problem of how to tune hyperparameters in a given period of time is not studied for NE algorithms before. In this paper, we propose JITuNE, a just-in-time hyperparameter tuning framework for NE algorithms. Our JITuNE framework enables the time-constrained hyperparameter tuning for NE algorithms by employing the tuning over hierarchical network synopses and transferring the knowledge obtained on synopses to the whole network. The hierarchical generation of synopsis and a time-constrained tuning method enable the constraining of overall tuning time. Extensive experiments demonstrate that JITuNE can significantly improve performances of NE algorithms, outperforming state-of-the-art methods within the same number of algorithm runs.

연구 동기 및 목표

• 거대 규모의 네트워크에서 네트워크 임베딩(NE) 알고리즘의 하이퍼파rameter 튜닝에 소요되는 시간이 너무 오래 걸리는 문제를 해결하기 위해.
• 사용자가 지정한 시간 예산 내에서 고성능 설정을 보장하는 시간 제약 최적화 프레임워크를 개발하기 위해.
• 기존 방법의 한계, 예를 들어 무작위 서브넷 샘플링과 범주형 하이퍼파rameter를 처리할 수 없는 점을 극복하기 위해.
• 전체 네트워크로의 구조적 충실도를 유지하면서 소규모 네트워크 요약에서부터 효과적인 지식 전이를 가능하게 하기 위해.
• 다양한 하이퍼파rameter 유형, 특히 수치형과 범주형을 모두 지원하여 다양한 NE 알고리즘에 광범위하게 적용 가능하게 하기 위해.

제안 방법

• 로컬 및 글로벌 네트워크 구조를 유지하는 공정한 코어닝 과정을 통해 계층적 네트워크 요약을 구성한다.
• 원본 네트워크와의 구조적 유사도를 기반으로 하이퍼파rameter 튜닝에 가장 적합한 요약을 식별하기 위해 유사도 측정 모듈을 활용한다.
• 선택된 요약에서 시간 제약이 있는 베이지안 최적화 프레임워크를 적용하여 하이퍼파rameter 공간을 효율적으로 탐색한다.
• 구조적 유사성과 성능 유사성을 고려한 메타러닝 기반 기법을 통해 요약에서 학습된 최적의 하이퍼파rameter 설정을 전체 네트워크로 전이한다.
• 전체 튜닝 시간이 사용자가 정의한 한계 내에 머무르도록 이른바 중단과 점진적 샘플링을 통합한다.
• 수치형과 범주형 하이퍼파rameter를 모두 지원하여 다양한 NE 알고리즘에 대한 광범위한 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 계층적 요약 기반 접근 방식이 성능을 희생시키지 않고 네트워크 임베딩의 하이퍼파rameter 튜닝에 소요되는 시간을 줄일 수 있는가?
• RQ2 네트워크 요약에서 전체 네트워크로의 지식 전이가 튜닝 효율성과 정확도 향상에 얼마나 효과적인가?
• RQ3 이 프레임워크는 시간 제약 조건 하에서 수치형과 범주형 하이퍼파rameter를 모두 처리할 수 있는가?
• RQ4 시간 제약 조건 하에서 JITuNE는 최신 기술 AutoML 및 NE 전용 튜닝 방법과 비교해 성능과 속도 면에서 어떻게 다른가?
• RQ5 요약의 선택이 최종 하이퍼파rameter 설정의 품질에 얼마나 큰 영향을 미치는가?

주요 결과

• JITUne는 동일한 알고리즘 실행 횟수 내에서 최신 기술 방법보다 네트워크 임베딩 알고리즘의 성능을 크게 향상시켰다.
• 계층적 요약과 이른바 중단을 활용하여 튜닝 시간을 단축시켜 결과가 정확히 필요한 시점에 도달하도록 보장한다.
• 안정성 분석 결과, Arxiv 네트워크에서 다섯 번의 독립적인 튜닝 런에서 일관된 하이퍼파rameter 설정을 확보했으며, 링크 예측 작업에서 성능 변동이 0.001 이하로 매우 낮았다.
• 일곱 개의 실제 네트워크에서 링크 예측 및 노드 분류 벤치마크에서 AutoNE 및 기타 AutoML 기반 베이스라인보다 모두 뛰어난 성능을 보였다.
• 요약에서 전체 네트워크로의 지식 전이로 인해 전체 네트워크에서 직접 튜닝하는 것보다 링크 예측 정확도가 최대 5.2% 향상되었다.
• 대규모 네트워크에서도 높은 효율성을 유지했으며, 사용자가 지정한 시간 한계 내에서 튜닝 시간이 제한되고, 솔루션 품질에 하락이 없었다.