[논문 리뷰] AutoKG: Efficient Automated Knowledge Graph Generation for Language Models

Bohan Chen, Andrea L. Bertozzi|arXiv (Cornell University)|2023. 11. 22.

Topic Modeling인용 수 4

한 줄 요약

AutoKG는 대규모 언어 모델(Large Language Models, LLMs)을 통한 关键어 추출과 그래프 라플라스 학습을 이용한 간선 가중치 계산을 통해 훈련이 불필요한 경량적인 방법으로 자동 지식 그래프(Knowledge Graph, KG) 생성을 제안한다. 검색 기반 생성을 향상시키기 위해 의미 유사도와 그래프 기반 연관성을 융합한 하이브리드 검색 전략을 적용하여, 신경망 미세조정 없이도 사실적 일致성과 응답 품질을 향상시킨다.

ABSTRACT

Traditional methods of linking large language models (LLMs) to knowledge bases via the semantic similarity search often fall short of capturing complex relational dynamics. To address these limitations, we introduce AutoKG, a lightweight and efficient approach for automated knowledge graph (KG) construction. For a given knowledge base consisting of text blocks, AutoKG first extracts keywords using a LLM and then evaluates the relationship weight between each pair of keywords using graph Laplace learning. We employ a hybrid search scheme combining vector similarity and graph-based associations to enrich LLM responses. Preliminary experiments demonstrate that AutoKG offers a more comprehensive and interconnected knowledge retrieval mechanism compared to the semantic similarity search, thereby enhancing the capabilities of LLMs in generating more insightful and relevant outputs.

연구 동기 및 목표

• LLM과 지식 기반 간의 연결을 위한 의미 유사도 검색의 한계를 해결하기 위해, 특히 복잡한 관계적 동역학을 포괄하는 데 초점을 맞춘다.
• 신경망 훈련 또는 미세조정 없이도 경량적이고 효율적인 자동 지식 그래프 구축 방법을 개발하는 것.
• 하이브리드 검색 전략을 통합한 단순화된 키워드 기반 지식 그래프를 활용해 LLM의 추론 능력과 사실적 정확도를 향상시키는 것.
• 복잡한 부분그래프 임베딩이나 신경망 적응이 필요 없이 실시간으로 해석 가능하고 확장 가능한 지식 검색을 가능하게 하는 것.
• 밀도 있는 신경망 검색기나 종단간 훈련에 의존하는 기존 검색 기반 생성(Retrieval-Augmented Generation, RAG) 방법에 비해 계산적으로 효율적인 대안을 제공하는 것.

제안 방법

• AutoKG는 프롬프트 엔지니어링을 통해 사전 훈련된 LLM을 활용해 지식 기반의 텍스트 블록에서 关键어를 추출한다.
• 노드가 关键어이고 간선이 그래프 라플라스 학습에 기반한 가중치를 갖는 단순화된 무방향 지식 그래프를 구성한다.
• 그래프 라플라스 학습을 적용하여 그래프 라플라스 행렬에서 유도된 선형 방정식계를 풀어 간선 가중치를 계산함으로써 국소적이고 전역적인 구조적 관계를 반영한다.
• 하이브리드 검색 전략은 의미 벡터 유사도(임bedding 유사도 기반)와 그래프 기반 인접성 검색을 융합하여 의미적으로 관련성 있는 정보와 구조적으로 연결된 정보를 모두 검색한다.
• 검색된 关键어와 관련된 텍스트 블록을 LLM 프롬프트에 통합하여 생성을 풍부하게 하며, LLM의 구조에 대한 신경망 적응이 필요 없도록 한다.
• 이 방법은 계산적으로 효율적이며, 지식 그래프 구축에 대해 이론적 시간 복잡도가 O(N log N)이고 검색에 대해 O(N)이며, 표준 의미 검색과 동일한 확장성과 일치한다.

실험 결과

연구 질문

• RQ1 표준 의미 유사도 검색에 비해 훈련이 불필요하고 경량적인 지식 그래프 구축 방법이 LLM의 검색 기반 생성 성능을 향상시킬 수 있는가?
• RQ2 의미 유사도와 그래프 기반 연관성을 융합함으로써 LLM 출력의 사실적 일치성과 관련성은 어떻게 향상되는가?
• RQ3 엔티티별 관계나 방향성 간선이 없는 단순화된 키워드 기반 지식 그래프가 LLM에서 복잡한 추론을 얼마나 잘 지원할 수 있는가?
• RQ4 특히 대규모 환경에서 기존 의미 검색 대비 제안된 하이브리드 검색의 계산 효율성은 어떠한가?
• RQ5 AutoKG는 미세조정이나 복잡한 신경망 적응 없이도 실제 지식 기반에 효과적으로 적용될 수 있는가?

주요 결과

• AutoKG는 N개의 텍스트 블록으로부터 M ≈ 0.1N개의 关键어를 추출해 지식 그래프를 구성함으로써 복잡성을 크게 감소시키면서도 관계적 구조를 유지한다.
• 하이브리드 검색 방법은 최대 60개의 텍스트 블록을 검색하는 데 평균 0.0310초의 응답 시간을 기록했으며, 의미 유사도 검색(0.0305초)과 비슷한 속도를 보여 O(N) 시간 복잡도를 유지함을 확인했다.
• 표준 의미 검색과 유사한 효율성을 확보하면서도 그래프 기반 연관성을 통해 더 풍부하고 상호 연결된 지식 접근이 가능함을 입증했다.
• 초기 질적 평가 결과, AutoKG는 더 다양한 정보와 맥락적으로 연결된 정보를 통합함으로써 LLM의 응답을 향상시켜 사실적 관련성과 통찰력을 높였다.
• 모델 미세조정과 신경망 적응을 피함으로써 실시간 업데이트 및 다양한 지식 기반에 대한 배포에 매우 뛰어난 유연성을 확보했다.
• 향후 연구에서 AutoKG의 LLM 통합에 대한 철저한 정량적 평가를 가능하게 하기 위해 더 복잡하고 구조화된 데이터셋이 필요하다는 점을 저자들이 지적했다.