[논문 리뷰] Automated Data Augmentations for Graph Classification

Youzhi Luo, Michael McThrow외 5명|arXiv (Cornell University)|2022. 02. 26.

Machine Learning and ELM인용 수 8

한 줄 요약

이 논문은 강화학습을 활용해 레이블에 독립적인 그래프 변환을 학습하는 자동 데이터 증강 방법인 GraphAug를 제안한다. 학습된 정책에 따라 노드 마스킹, 엣지 제거, 엣지 변형 중에서 동적으로 선택함으로써 GraphAug는 다양한 그래프 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 높은 레이블 불변성을 유지한다. 이는 추론 및 일반화 연구를 통해 검증되었다.

ABSTRACT

Data augmentations are effective in improving the invariance of learning machines. We argue that the core challenge of data augmentations lies in designing data transformations that preserve labels. This is relatively straightforward for images, but much more challenging for graphs. In this work, we propose GraphAug, a novel automated data augmentation method aiming at computing label-invariant augmentations for graph classification. Instead of using uniform transformations as in existing studies, GraphAug uses an automated augmentation model to avoid compromising critical label-related information of the graph, thereby producing label-invariant augmentations at most times. To ensure label-invariance, we develop a training method based on reinforcement learning to maximize an estimated label-invariance probability. Experiments show that GraphAug outperforms previous graph augmentation methods on various graph classification tasks.

연구 동기 및 목표

• 그래프 분류에서의 데이터 부족 문제를 해결하기 위해 자동화되고 레이블에 독립적인 데이터 증강 전략을 개발하기 위해.
• 레이블과 관련된 정보를 파괴할 위험이 있는 균일하고 수작업으로 설계된 그래프 증강의 한계를 극복하기 위해.
• 그래프 구조와 레이블 컨텍스트에 기반해 최적의 변환을 선택할 수 있는 학습 가능한 증강 정책을 설계하기 위해.
• 레이블 불변성 확률을 추정하는 데 최대화하는 강화학습 프레임워크를 통해 증강 과정에서 높은 레이블 불변성을 확보하기 위해.
• 수동으로 하이퍼파라미터를 조정하지 않고도 다양한 그래프 데이터셋에서의 일반화성과 강건성을 입증하기 위해.

제안 방법

• GraphAug는 강화학습 에이전트를 활용해 세 가지 학습 가능한 증강 유형인 MaskNF(노드 특성 마스킹), DropNode(노드 제거), PerturbEdge(엣지 변형) 중에서 선택한다.
• 에이전트는 증강된 그래프가 원본 클래스 레이블을 유지하도록 추정된 레이블 불변성 확률을 최대화하도록 훈련된다.
• 가상 노드를 사용한 그래프 신경망을 활용해 그래프 수준의 표현을 인코딩함으로써, 에이전트가 정보 기반의 증강 결정을 내릴 수 있도록 한다.
• 증강 정책을 최적화하기 위해 정책 기반 강화학습을 사용하며, 보상은 원본 그래프와 증강된 그래프 간의 예측 유사도에 기반한다.
• 메시지 전파를 향상시키고 그래프 수준의 표현 학습을 개선하기 위해 가상 노드를 도입함으로써 증강 유형 예측 성능 향상에 기여한다.
• 합성 및 실세계 그래프 데이터셋을 조합하여 평가하며, 교차 검증 하에 분류 정확도로 성능을 측정한다.

실험 결과

연구 질문

• RQ1 자동화되고 학습 가능한 증강 정책이 그래프 분류에서 수작업으로 설계된 균일한 그래프 증강보다 우월한가?
• RQ2 강화학습을 통해 레이블 불변성을 갖는 그래프 변환을 얼마나 잘 학습할 수 있는가? 이는 의미를 유지하는가?
• RQ3 가상 노드의 포함 여부가 증강 정책의 성능와 안정성에 어떤 영향을 미치는가?
• RQ4 마스킹, 제거, 변형 등의 다양한 변환 유형을 조합하면 단일 유형을 사용할 때보다 더 나은 일반화 성능를 보이는가?
• RQ5 알려진 레이블이 있는 합성 데이터셋에서 GraphAug의 레이블 불변성 비율은 균일한 기준 대비 어떻게 비교되는가?

주요 결과

• GraphAug는 GIN 모델을 사용해 PROTEINS(0.816 ± 0.001), IMDB-BINARY(0.762 ± 0.004), NCI1(0.816 ± 0.001)를 포함한 여러 그래프 분류 벤치마크에서 최신 기술 수준의 성능를 달성한다.
• COLORS 및 TRIANGLES 합성 데이터셋에서 GraphAug는 각각 0.9994 및 1.0000의 레이블 불변성 비율을 기록하며, 균일한 기준 대비 뚜렷한 승리를 거두었다.
• 추론 연구 결과에 따르면, 특정 데이터셋에서는 단일 변환 유형(예: 학습 가능한 DropNode)만을 사용하는 것도 효과적일 수 있으나, GraphAug의 복합 전략이 다양한 데이터 분포에 더 잘 일반화됨을 확인했다.
• GNN 기반 모델에서 가상 노드를 사용할 경우, 그래프 수준 표현을 위한 합, 평균, 최댓값 풀링보다 우수한 성능를 보였으며, 이는 메시지 전파 및 표현 학습 향상에 기여함을 확인한다.
• GraphAug는 소규모 데이터셋에서 일관되게 일반화 성능를 향상시키고 과적합을 줄이며, 여러 10겹 교차 검증 런에 걸쳐 강건성을 입증했다.
• 모든 평가된 데이터셋과 모델에서 이전의 그래프 증강 기법, 특히 균일하고 무작위 증강 기준 대비 성능를 뛰어나게 하였다.