[논문 리뷰] Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach

Qitian Wu, Chenxiao Yang외 1명|arXiv (Cornell University)|2021. 10. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 57인용 수 10

한 줄 요약

이 논문은 재훈련 없이도 새로운 특징에 일반화할 수 있도록 해주는 개방형 특징 외삽을 위한 새로운 유도적 그래프 학습 프레임워크인 FATE를 제안한다. 관측된 훈련 데이터를 기반으로 특징-데이터 이분할 그래프를 구성하고, 기초 신경망과 그래프 신경망을 조합함으로써 메시지 전파를 통해 새로운 특징의 임베딩을 외삽하는 방법을 제시한다. 이 방법은 표본화 및 정규화 전략을 통해 특징 수준의 과적합을 줄이고, 표본 랜덤성과 일반화 오차 간의 이론적 연결을 제공함으로써, 표본 데이터 및 대규모 광고 데이터셋에서 최신 기술 성능을 달성한다.

ABSTRACT

We target open-world feature extrapolation problem where the feature space of input data goes through expansion and a model trained on partially observed features needs to handle new features in test data without further retraining. The problem is of much significance for dealing with features incrementally collected from different fields. To this end, we propose a new learning paradigm with graph representation and learning. Our framework contains two modules: 1) a backbone network (e.g., feedforward neural nets) as a lower model takes features as input and outputs predicted labels; 2) a graph neural network as an upper model learns to extrapolate embeddings for new features via message passing over a feature-data graph built from observed data. Based on our framework, we design two training strategies, a self-supervised approach and an inductive learning approach, to endow the model with extrapolation ability and alleviate feature-level over-fitting. We also provide theoretical analysis on the generalization error on test data with new features, which dissects the impact of training features and algorithms on generalization performance. Our experiments over several classification datasets and large-scale advertisement click prediction datasets demonstrate that our model can produce effective embeddings for unseen features and significantly outperforms baseline methods that adopt KNN and local aggregation.

연구 동기 및 목표

• 훈련 중에 관측되지 않은 새로운 특징을 처리해야 하는 개방형 특징 외삽 문제에 대응하기 위해.
• 새로운 특징이 도입될 경우 재훈련이 필요로 하는 표준 신경망의 한계를 극복하기 위해.
• 기존 특징 및 인스턴스 간 관계를 기반으로 그래프 기반 메시지 전파를 통해 새로운 특징의 임베딩을 유도적으로 학습할 수 있는 확장 가능한 학습 프레임워크를 개발하기 위해.
• 새로운 샘플링 및 정규화 전략을 통해 대규모 데이터셋에서 특징 수준의 과적합을 줄이기 위해.
• 새로운 특징이 존재할 경우 일반화 오차의 이론적 분석을 제공하고, 모델 성능이 샘플링 랜덤성과 어떻게 연결되는지를 규명하기 위해.

제안 방법

• 프레임워크는 두 모듈 설계를 사용한다: 초기 특징 임베딩을 위한 기초 피드포워드 네트워크와 유도적 특징 외삽을 위한 그래프 신경망(GNN)이다.
• 관측된 훈련 데이터로부터 특징-데이터 이분할 그래프를 구성한다. 여기서 노드는 특징과 데이터 인스턴스를 나타내며, 간선은 특징-인스턴스 간 관계를 표현한다.
• GNN은 이분할 그래프를 따라 메시지 전파를 수행하여 기존 특징 및 인스턴스 표현 기반으로 새로운 관측되지 않은 특징의 임베딩을 유도한다.
• 두 가지 훈련 전략이 제안된다: 자기지도 학습과 k-샷 샘플링 또는 n-폴드 분할을 활용한 유도적 학습을 통해 다양한 대체 훈련 데이터를 생성한다.
• 훈련 중에 간선을 무작위로 제거함으로써 과적합을 방지하기 위해 DropEdge 정규화를 그래프에 적용한다.
• 미니배치 최적화를 통해 엔드 투 엔드로 모델을 훈련함으로써 수백만 개의 특징과 인스턴스를 포함한 대규모 데이터셋에 대한 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 기계 학습 모델이 재훈련 없이도 새로운 관측되지 않은 특징에 일반화할 수 있는가? 이는 인간과 유사한 외삽 능력을 모방하는가?
• RQ2 기존 특징 및 인스턴스 간 관계를 기반으로 그래프 신경망을 어떻게 활용하여 새로운 특징의 임베딩을 유도적으로 학습할 수 있는가?
• RQ3 대규모 개방형 환경에서 일반화와 강건성을 균형적으로 확보하기 위해 어떤 훈련 전략(예: k-샷 샘플링 대비 n-폴드 분할)이 가장 효과적인가?
• RQ4 샘플링 랜덤성은 모델의 일반화에 어떤 영향을 미치며, 이를 이론적으로 정량화할 수 있는가?
• RQ5 DropEdge 정규화가 개방형 특징 외삽 환경에서 특징 수준의 과적합을 어느 정도 완화하는가?

주요 결과

• FATE는 KNN 및 국소 집계 기반 베이스라인에 비해 특징 외삽에서 뚜렷한 성능 향상을 보이며, UCI 및 대규모 Criteo/Avazu 데이터셋 모두에서 더 높은 AUC를 달성한다.
• Avazu 및 Criteo 데이터셋에서 k-샷 샘플링이 항상 n-폴드 분할을 능가하며, 일반화 성능 향상과 과적합 감소에 기여한다.
• 샘플링 크기 $k$가 증가함에 따라 훈련 AUC가 향상되며, 이는 분산 감소 때문이지만, $k$가 전체 특징 집합에 가까워질수록 성능이 정점에 도달하거나 감소함을 보여, 특징 수준의 과적합이 발생함을 시사한다.
• 절단 실험 결과, k-샷 샘플링과 DropEdge를 적용한 FATE가 가장 뛰어난 성능을 보이며, Criteo의 테스트 폴드 T8에서 AUC 0.7744를 기록하여 엔드 투 엔드 공동 훈련을 초월한다.
• 이론적 분석 결과 일반화 오차는 특징 샘플링 랜덤성에 의존하며, $k$가 클수록 이 랜덤성이 감소하여 일반화 성능이 떨어짐을 확인하였고, 이는 실험 결과와 일치한다.
• 프레임워크는 효율적으로 확장 가능하다: 배치 크기 및 특징 수에 비해 훈련 및 추론 시간이 비선형적으로 증가하며, 대규모 데이터셋에서도 GPU 메모리 사용량이 관리 가능하다.