[논문 리뷰] Deriving Neural Architectures from Sequence and Graph Kernels

Tao Leí, Wengong Jin외 2명|arXiv (Cornell University)|2017. 05. 25.

Topic Modeling참고 문헌 39인용 수 22

한 줄 요약

이 논문은 시퀀스 및 그래프 커널에서 유도된 깊이 있는 순환 신경망 아키텍처인 커널 신경망을 제안한다. 여기서 가상의 기준 객체를 학습 가능한 파라미터로 간주하여 입력과 커널 계산을 통해 비교한다. 이 방법은 엔드 투 엔드 학습을 통해 언어 모델링 및 분자의 그래프 회귀에서 최신 기술 수준의 성능을 달성하며, 스탠포드 감성 트리뱅크에서 53.2%의 정확도와 하버드 클린 에너지 프로젝트 데이터셋에서 0.1043의 RMSE를 기록한다.

ABSTRACT

The design of neural architectures for structured objects is typically guided by experimental insights rather than a formal process. In this work, we appeal to kernels over combinatorial structures, such as sequences and graphs, to derive appropriate neural operations. We introduce a class of deep recurrent neural operations and formally characterize their associated kernel spaces. Our recurrent modules compare the input to virtual reference objects (cf. filters in CNN) via the kernels. Similar to traditional neural operations, these reference objects are parameterized and directly optimized in end-to-end training. We empirically evaluate the proposed class of neural architectures on standard applications such as language modeling and molecular graph regression, achieving state-of-the-art results across these applications.

연구 동기 및 목표

• 구조적 데이터인 시퀀스와 그래프와 같은 데이터를 위한 신경망 아키텍처 설계를 위한 원칙적인 커널 기반 방법을 정식화하는 것.
• 조합적 커널 계산에서 유도된 신경 연산을 통해 커널 기반 함수 공간과 딥 러닝 사이의 격차를 메우는 것.
• 커널 이론에 기반한 엔드 투 엔드 학습 가능한 신경 모델을 가능하게 하여 구조적 예측 작업에서 성능을 향상시키는 것.
• 커널 기반 신경 연산을 사용하여 언어 모델링 및 분자의 그래프 회귀에서 최신 기술 수준의 성능을 입증하는 것.

제안 방법

• 가상의 기준 객체를 학습 가능한 파라미터로 간주하여, n-그램 및 Weisfeiler-Lehman 커널과 같은 문자열 및 그래프 커널에서 신경 연산을 유도한다.
• 각 레이어는 커널 함수를 사용하여 입력 시퀀스 또는 그래프와 매개변수화된 기준 객체 간의 유사도를 계산한다. 예를 들어, $ \mathcal{K}_2(\mathbf{x},\mathbf{y}) = \sum_{i<j} \lambda^{L-i-1} \delta(\mathbf{x}_i,\mathbf{y}_k) \delta(\mathbf{x}_j,\mathbf{y}_l) $ 와 같이 감쇠 인자를 포함한다.
• 은닉 상태는 기준 객체의 커널 가중 평균을 통해 업데이트되는 커널 기반 비교를 반복적으로 전파하는 순환 반복을 사용한다.
• 과적합을 방지하기 위해 드롭아웃과 학습률 감쇠를 적용한 Adam 옵timizer를 사용하여 엔드 투 엔드로 모델을 학습시킨다.
• 그래프에 대해서는 4회의 반복과 $ n=2 $ 를 사용하여 Weisfeiler-Lehman 커널을 적용하며, 원자 및 결합 특성을 입력으로 사용한다.
• 하위 구조 유사도의 가중치를 적응적으로 조정할 수 있도록 감마 기반 감쇠 인자 $ \lambda $ 를 도입한다.

실험 결과

연구 질문

• RQ1 커널 기반 함수 공간은 구조적 데이터를 위한 깊이 있는 신경망 아키텍처 설계를 위한 공리적인 기초가 될 수 있는가?
• RQ2 커널 계산은 시퀀스 및 그래프를 위한 기울기 가능하고 엔드 투 엔드 학습 가능한 신경 모듈에 어떻게 통합될 수 있는가?
• RQ3 커널 기반으로 유도된 신경 연산은 기존 아키텍처보다 시퀀스 모델링 및 그래프 회귀 작업에서 더 우수한 성능을 낼 수 있는가?
• RQ4 학습 가능한 커널 파라미터, 예를 들어 감쇠 인자 $ \lambda $ 는 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 커널 신경망은 스탠포드 감성 트리뱅크의 세밀한 분류 작업에서 53.2%의 테스트 정확도를 기록하여, 이전의 DMN 및 RLSTM와 같은 방법들을 능가했다.
• 이진 감성 분류 작업에서는 89.9%의 정확도를 달성하여 최고의 기준 모델인 88.6%를 초월했다.
• 하버드 클린 에너지 프로젝트 데이터셋에서의 분자의 그래프 회귀 작업에서 RMSE는 0.1043을 기록하여 동일한 설정에서 이전 최고 기록인 0.1058을 넘어섰다.
• 감마 기반 감쇠 인자 $ \lambda $ 는 언어 모델링 및 그래프 회귀 작업 전반에서 일관된 성능 향상을 이끌었다.
• 고정된 $ \lambda $ 를 사용한 모델조차도 여러 강력한 기준 모델을 능가했으며, 이는 커널 기반 설계의 강건성을 입증했다.
• 이론적으로 커널 이론과 딥 러닝을 성공적으로 통합하여, 구조적 객체를 위한 아키텍처 설계에 공리적이고 체계적인 접근법을 가능하게 했다.