[논문 리뷰] Learning Graph Structure With A Finite-State Automaton Layer

Daniel D. Johnson, Hugo Larochelle외 1명|arXiv (Cornell University)|2020. 07. 09.

Machine Learning and Algorithms참고 문헌 40인용 수 4

한 줄 요약

이 논문은 유한 상태 오토마타가 수락하는 경로를 모델링하여 그래프 구조 데이터에서 추상적 상관 관계 간선을 유도할 수 있는 미분 가능 그래프 유한 상태 오토마타(GFSA) 레이어를 제안한다. 그래프 기반 POMDP에서 은닉 미분을 사용하여 GFSA 레이어는 엔드 투 엔드로 의미적으로 유의미하고 작업 최적화된 간선을 학습한다 — 이는 수작업 또는 학습된 기준선 대비 프로그램 분석 및 격자 세계 추론 작업에서 뛰어난 성능을 보여준다.

ABSTRACT

Graph-based neural network models are producing strong results in a number of domains, in part because graphs provide flexibility to encode domain knowledge in the form of relational structure (edges) between nodes in the graph. In practice, edges are used both to represent intrinsic structure (e.g., abstract syntax trees of programs) and more abstract relations that aid reasoning for a downstream task (e.g., results of relevant program analyses). In this work, we study the problem of learning to derive abstract relations from the intrinsic graph structure. Motivated by their power in program analyses, we consider relations defined by paths on the base graph accepted by a finite-state automaton. We show how to learn these relations end-to-end by relaxing the problem into learning finite-state automata policies on a graph-based POMDP and then training these policies using implicit differentiation. The result is a differentiable Graph Finite-State Automaton (GFSA) layer that adds a new edge type (expressed as a weighted adjacency matrix) to a base graph. We demonstrate that this layer can find shortcuts in grid-world graphs and reproduce simple static analyses on Python programs. Additionally, we combine the GFSA layer with a larger graph-based model trained end-to-end on the variable misuse program understanding task, and find that using the GFSA layer leads to better performance than using hand-engineered semantic edges or other baseline methods for adding learned edge types.

연구 동기 및 목표

• 그래프 구조 데이터에서 고수준의 추상적 관계를 자동으로 학습하여 후속 모델 성능을 향상시키는 도전 과제를 해결하기 위해.
• 프로그램 분석 기법을 영감으로 삼아, 유한 상태 오토마타를 사용하여 경로 기반의 도달 가능성 제약 조건으로 파생된 관계를 모델링하기 위해.
• 그래프 기반 부분 관측 가능 마르코프 결정 과정(POMDP)에서의 미분 가능 정책 학습을 통해 이러한 관계의 엔드 투 엔드 훈련을 가능하게 하기 위해.
• GFSA를 통해 학습된 관계가 프로그램 이해 및 탐색 작업에서 수작업으로 만든 간선과 다른 기준선보다 뛰어난 성능을 보임을 입증하기 위해.
• 그래프 신경망에 도메인 특화된 관계적 인덕티브 바이어스를 통합하기 위한 유연하고 해석 가능한 메커니즘을 제공하기 위해.

제안 방법

• GFSA 레이어는 노드 및 간선 레이블에 따라 조건부 전이를 가지는 유한 상태 오토마타(FSA) 정책을 정의한다. 이 정책은 기본 그래프를 탐색한다.
• FSA 정책은 그래프 기반 POMDP에서 은닉 미분을 통해 훈련되며, 오토마타의 경로 선택을 통해 역전파가 가능해진다.
• 이 레이어는 FSA에서 수락된 경로에 해당하는 새로운 간선 유형을 나타내는 가중치가 부여된 인접 행렬을 출력한다.
• 이 방법은 확률적 완화와 기울기 추정을 사용하여 이산적 경로 선택을 연속적이고 미분 가능한 최적화 문제로 변환한다.
• FSA 정책은 중간 단계에 대한 지도 없이 시작 및 종료 노드에만 지도를 받으며, 후속 작업 성능을 최대화하도록 훈련된다.
• 이 접근법은 기존의 그래프 신경망(GGNN, RAT, GREAT 등)과 원활하게 통합되어 GFSA 레이어를 학습 가능한 구성 요소로 사용하는 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 중간 경로 단계에 대한 명시적 지도 없이도, GFSA 레이어가 그래프에서 추상적이고 작업에 관련된 관계를 학습할 수 있는가?
• RQ2 유한 상태 오토마타를 통한 관계 학습이 무작위 보행이나 강화 학습 기준선 대비 그래프 추론 작업에서 더 나은 인덕티브 바이어스를 제공하는가?
• RQ3 GFSA 레이어는 파이썬 코드 그래프에서 알려진 프로그램 분석 패턴(예: 데이터 의존성)을 재현할 수 있는가?
• RQ4 GFSA 레이어는 프로그램 이해 작업에서 수작업으로 만든 의미적 간선과 비교해 성능가 어떻게 되는가?
• RQ5 GFSA 레이어는 경로 구조에 대한 명시적 지도 없이도, 구조화된 환경인 격자 세계에서 유용한 단서를 발견할 수 있는가?

주요 결과

• RAT 모델에서 로컬라이제이션 작업에서 GFSA 레이어는 94.058 ± 0.064의 정확도를 기록하여 수작업으로 만든 간선(93.100 ± 0.069)과 모든 기준선을 앞서며 우수한 성능을 보였다.
• GREAT 모델에서 GFSA 레이어는 로컬라이제이션 작업에서 93.266 ± 0.068의 정확도를 기록하여 다음으로 우수한 방법(NRI 헤드, 92.446 ± 0.072)을 능가했다.
• 격자 세계 작업에서 GFSA 레이어는 중간 위치에서 훈련한 경우 93.612 ± 0.066의 정확도를 기록했으며, 강화 학습 아블레이션(90.643 ± 0.079)과 무작위 보행(92.644 ± 0.071)을 모두 앞섰다.
• GFSA 레이어는 파이썬의 AST에서 LastRead 프로그램 분석 패턴을 성공적으로 재현했으며, 시각화된 오토마타 행동이 기대되는 역순 실행 의미론과 일치했다.
• 일부 설정에서 GFSA 레이어는 수작업으로 만든 간선 대비 변수 오용 탐지 성능을 최대 1.5% 향상시켰고, 기존 AST 전용 모델 대비 3% 향상시켰다.
• GFSA 레이어는 뛰어난 일반화 능력을 보였으며, 미리 보지 않은 격자 세계 레이아웃에서 효과적인 경로 탐색 정책을 학습했고, 코드 내에서 관련 프로그램 의존성을 정확히 식별했다.