[논문 리뷰] Interstellar: Searching Recurrent Architecture for Knowledge Graph Embedding

Yongqi Zhang, Quanming Yao외 1명|arXiv (Cornell University)|2019. 11. 17.

Advanced Graph Neural Networks참고 문헌 72인용 수 14

한 줄 요약

이 논문은 지식 그래프 임bedding를 위한 최적의 순환 신경망 아키텍처를 발견하기 위해 상호관계 경로를 활용하여 단기 및 장기 의존성을 모두 포착하는 신경망 아키텍처 탐색(NAS) 프레임워크인 Interstellar을 제안한다. 도메인 특화의 검색 공간을 정의하고, 단독 및 온샷 검색을 조합한 하이브리드 검색 알고리즘을 도입하여 효율적인 검색 비용으로도 엔티티 정렬 및 링크 예측 작업에서 최신 기술 성능을 달성한다.

ABSTRACT

Knowledge graph (KG) embedding is well-known in learning representations of KGs. Many models have been proposed to learn the interactions between entities and relations of the triplets. However, long-term information among multiple triplets is also important to KG. In this work, based on the relational paths, which are composed of a sequence of triplets, we define the Interstellar as a recurrent neural architecture search problem for the short-term and long-term information along the paths. First, we analyze the difficulty of using a unified model to work as the Interstellar. Then, we propose to search for recurrent architecture as the Interstellar for different KG tasks. A case study on synthetic data illustrates the importance of the defined search problem. Experiments on real datasets demonstrate the effectiveness of the searched models and the efficiency of the proposed hybrid-search algorithm.

연구 동기 및 목표

• 지식 그래프에서 단기 삼중항 수준의 의존성과 장기 경로 수준의 의존성을 동시에 포착하는 문제를 해결하기 위해.
• 지식 그래프 임베딩 작업에 특화된 순환 아키텍처를 위한 도메인 특화의 검색 공간을 설계하기 위해.
• 지식 그래프의 복잡한 순환 검색 공간에 적용했을 때 단독 및 온샷 NAS 방법의 한계를 극복하기 위해.
• 단독 검색의 신뢰성과 온샷 검색의 속도를 결합한 효율적인 하이브리드 검색 알고리즘을 개발하기 위해.
• 실제 지식 그래프 벤치마크에서 검색된 아키텍처의 효과성과 효율성을 경험적으로 검증하기 위해.

제안 방법

• 지식 그래프 내 상호관계 경로를 처리하기 위한 순환 아키텍처에 초점을 맞춘 신경망 아키텍처 탐색(NAS) 작업으로 Interstellar 문제를 정의한다.
• 기존의 지식 그래프 임베딩 모델들(예: TransE, ComplEx, RotatE)에서 유도된 연산을 포함하는 도메인 특화의 검색 공간을 설계하여 호환성과 표현력을 확보한다.
• 정확도를 위해 단독 검색을, 효율성을 위해 온샷 검색을 번갈아 사용하는 하이브리드 검색 알고리즘을 도입하여, 복잡한 순환 공간에서의 검색 신뢰도를 향상시킨다.
• macro 수준에서 경로 수준의 아키텍처 구성 요소를, micro 수준에서 셀 수준의 순환 유닛을 검색하는 이중 단계 검색 프로세스를 적용한다.
• 온샷 구성 요소에 대해 기울기 기반 최적화를 사용하는 미분 가능 검색 전략을 사용하며, 단독 단계에서는 검증 기반 선택을 통해 정확도를 유지한다.
• 최종적으로 검색된 아키텍처를 엔티티 정렬 및 링크 예측과 같은 후행 작업에 적용하고, 학습률, 드롭아웃, L2, 배치 크기 등의 하이퍼파라미터에 대해 피지컬 튜닝을 수행한다.

실험 결과

연구 질문

• RQ1 통합된 순환 아키텍처는 지식 그래프 내 상호관계 경로를 따라 단기 삼중항 상호작용과 장기 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 지식 그래프 임베딩 작업에 특화된 신경망 아키텍처 탐색 프레임워크를 어떻게 설계하여 작업 적응형 순환 아키텍처를 발견할 수 있는가?
• RQ3 기존의 NAS 방법—특히 단독 및 온샷 접근 방식—은 지식 그래프의 복잡한 순환 검색 공간에 적용했을 때 어떤 한계를 지니는가?
• RQ4 단독 및 온샷 방법의 장점을 조합한 하이브리드 검색 전략이 이 분야에서 검색 효율성과 신뢰도를 향상시킬 수 있는가?
• RQ5 표준 지식 그래프 벤치마크에서 검색된 아키텍처의 성능은 수작업으로 설계된 모델과 다른 NAS 방법에 비해 어떻게 비교되는가?

주요 결과

• Interstellar의 하이브리드 검색 알고리즘은 동일한 검색 공간에서 단독 및 온샷 NAS 방법(DARTS, ASNG 등)보다 더 뛰어난 성능을 달성하며, 후자의 경우 불안정한 검색 동역학으로 인해 낮은 신뢰도를 보였다.
• 엔티티 정렬 및 링크 예측 작업에서 Interstellar의 검색된 모델은 TransE, ComplEx, RotatE 기반의 베이스라인 모델을 모두 초월하여 학습된 아키텍처의 효과성을 입증했다.
• Interstellar의 검색 과정은 계산적으로 효율적이며, 총 검색 시간(macro + micro 수준)은 약 15~92시간으로, 최대 200시간에 이르는 피지컬 튜닝 시간과 유사하여 검색 비용이 관리 가능함을 시사한다.
• 합성 데이터에 대한 사례 연구를 통해 검색 공간이 합리적이며, 일반화 능력이 뛰어난 의미 있는 아키텍처를 발견할 수 있음을 확인했다.
• 제안된 방법은 지식 그래프 임베딩에 국한되지 않으며, 하이브리드 검색 알고리즘이 다른 복잡한 검색 공간을 가진 도메인에도 일반화 가능하고 적용 가능하다.
• 최종 모델은 WN18-RR 및 FB15k-237에서 엔티티 정렬 및 링크 예측 모두 최신 기술 성능을 달성하여, 프레임워크의 효과성을 검증했다.