[논문 리뷰] Knowledge Graph Embedding with Atrous Convolution and Residual Learning

Feiliang Ren, Juchen Li외 5명|arXiv (Cornell University)|2020. 10. 23.

Advanced Graph Neural Networks참고 문헌 51인용 수 4

한 줄 요약

이 논문은 지식 그래프 임베딩 모델인 AcrE를 제안하며, atrous 컨볼루션과 잔차 학습을 활용하여 특징 상호작용을 향상시키고 기울기 소실 문제를 완화하면서도 높은 파라미터 효율성을 유지한다. 다양한 벤치마크 데이터셋에서 기존의 경쟁 모델들보다 더 적은 파라미터로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Knowledge graph embedding is an important task and it will benefit lots of downstream applications. Currently, deep neural networks based methods achieve state-of-the-art performance. However, most of these existing methods are very complex and need much time for training and inference. To address this issue, we propose a simple but effective atrous convolution based knowledge graph embedding method. Compared with existing state-of-the-art methods, our method has following main characteristics. First, it effectively increases feature interactions by using atrous convolutions. Second, to address the original information forgotten issue and vanishing/exploding gradient issue, it uses the residual learning method. Third, it has simpler structure but much higher parameter efficiency. We evaluate our method on six benchmark datasets with different evaluation metrics. Extensive experiments show that our model is very effective. On these diverse datasets, it achieves better results than the compared state-of-the-art methods on most of evaluation metrics. The source codes of our model could be found at https://github.com/neukg/AcrE.

연구 동기 및 목표

• 깊이 있는 신경망 기반 지식 그래프 임베딩 방법의 한계를 해결하기 위해, 특히 컨볼루션 계층에서 스트라이딩으로 인한 높은 복잡성과 특징 해상도 저하 문제를 해결하고자 한다.
• 잔차 학습을 통해 깊은 네트워크에서 기울기 소실/폭발 문제와 원본 정보의 상실을 완화하고자 한다.
• 모델 파라미터를 크게 증가시키지 않으면서도 atrous 컨볼루션을 활용해 지식 그래프 임베딩의 특징 상호작용을 향상시키고자 한다.
• 최신 기술 수준의 모델들과 비교해 성능을 유지하거나 향상시키면서도 더 높은 파라미터 효율성을 달성하고자 한다.
• 지식 그래프 임베딩을 위한 단순하면서도 효과적인 아키텍처를 제안하고자 하며, 이는 atrous 컨볼루션과 잔차 연결을 조합한 것이다.

제안 방법

• 모델은 파라미터나 계산 비용을 증가시키지 않으면서도 필터의 수감 범위를 확장하기 위해 atrous 컨볼루션을 활용한다.
• 잔차 학습을 통합하여 원본 특징을 유지하고 학습을 안정화시켜 깊은 아키텍처에서의 정보 손실을 줄인다.
• 두 가지 통합 구조를 제안한다: 순차적 구조와 병렬 구조로, 다중 컨볼루션 연산을 통합한다.
• 순차적 구조는 스킵 연결을 포함한 순차적 컨볼루션을 적용하는 반면, 병렬 구조는 요소별 덧셈 또는 연결을 통해 서로 다른 컨볼루션에서 온 특징을 융합한다.
• 수감 범위 확장을 제어하기 위해 atrous 비율을 사용하여 관계와 개체 간 효과적인 컨텍스트 집합을 가능하게 한다.
• 엔티티와 관계 표현을 최적화하기 위해 이전 KGE 방법들과 유사한 마진 기반 순위 손실 함수를 사용해 모델을 학습한다.

실험 결과

연구 질문

• RQ1 모델 복잡도를 증가시키지 않으면서도 atrous 컨볼루션이 지식 그래프 임베딩에서 특징 상호작용을 효과적으로 향상시킬 수 있는가?
• RQ2 잔차 학습이 정보 상실과 기울기 문제를 완화시켜 깊은 KGE 모델의 학습 안정성과 성능을 뚜렷이 향상시키는가?
• RQ3 다양한 벤치마크 데이터셋에서 제안된 AcrE 모델은 최신 기술 수준의 KGE 모델들과 비교해 성능과 파라미터 효율성 측면에서 어떻게 다른가?
• RQ4 병렬 구조에서 요소별 덧셈과 연결 중 어떤 통합 전략이 모델 성능에 더 큰 영향을 미치는가?
• RQ5 복잡한 DNN 기반 베이스라인 모델들을 능가하면서도 학습과 추론에서 높은 효율성을 유지할 수 있는가?

주요 결과

• AcrE는 여섯 개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성했으며, 대부분의 평가 지표에서 기존 방법들을 능가한다.
• 순차적 잔차 구조는 병렬 구조보다 잔차 학습으로부터 더 큰 성능 향상을 얻었는데, 이는 더 깊은 순차적 계층에서 정보 상실이 더 심각하기 때문이다.
• 병렬 구조에서 연결 기반 통합 방법은 요소별 덧셈 방법보다 일관되게 뛰어난 성능을 보였다.
• AcrE는 대부분의 베이스라인 모델들보다 훨씬 뛰어난 파라미터 효율성을 보였으며, 순차적 버전은 약 560만 개, 병렬 버전은 약 620만 개의 파라미터를 사용했고, HAKE의 최대 2979만 개에 비해 크게 줄었다.
• 학습 시간은 최근의 GNN 및 DNN 기반 모델들보다 상당히 빠르며, Titan XP GPU에서 FB15k-237 데이터셋 기준으로 에포크당 약 100초가량 소요되었고, 전체 테스트 세트에 대한 추론은 단 6초가 걸렸다.
• 모델은 다양한 데이터셋에 걸쳐 뛰어난 일반화 성능을 보였으며, 이는 실제 지식 그래프 환경에서의 강건성과 효과성을 확인한다.