[논문 리뷰] SkillGPT: a RESTful API service for skill extraction and standardization using a Large Language Model

Nan Li, Bo Soo Kang외 1명|arXiv (Cornell University)|2023. 04. 17.

Topic Modeling인용 수 10

한 줄 요약

SkillGPT는 백본이 있는 오픈소스 LLM과 벡터 검색을 활용해 자유텍스트 구인 설명 및 프로필에서 기술(skill)을 추출하고 표준화하는 API 도구로, 속도, 정확도, 비용의 균형을 맞춥니다.

ABSTRACT

We present SkillGPT, a tool for skill extraction and standardization (SES) from free-style job descriptions and user profiles with an open-source Large Language Model (LLM) as backbone. Most previous methods for similar tasks either need supervision or rely on heavy data-preprocessing and feature engineering. Directly prompting the latest conversational LLM for standard skills, however, is slow, costly and inaccurate. In contrast, SkillGPT utilizes a LLM to perform its tasks in steps via summarization and vector similarity search, to balance speed with precision. The backbone LLM of SkillGPT is based on Llama, free for academic use and thus useful for exploratory research and prototype development. Hence, our cost-free SkillGPT gives users the convenience of conversational SES, efficiently and reliably.

연구 동기 및 목표

• 비정형 구인 설명과 사용자 프로필에서 자동 기술 추출 및 표준화를 촉진한다.
• 오픈소스 LLM과 벡터 임베딩을 사용한 비용 효율적이고 정확한 SES 솔루션을 제공한다.
• 다국어 SES와 다중 개념 추출(기술, 직무, 직무 그룹)을 가능하게 한다.
• 연구자들이 SES 작업을 프로토타입하고 평가할 수 있도록 접근 가능한 API와 UI를 제공한다.

제안 방법

• 오픈소스 LLM 백본(Vicuna-13B)을 사용하여 자유 텍스트 입력을 기술 목록으로 요약한다.
• 요약된 텍스트의 임베딩을 계산하고 사전에 계산된 ESCO 임베딩과 벡터 유사도 검색을 수행한다.
• 벡터 유사도 통해 상위 k개 매칭 ESCO 용어를 검색하여 기술을 표준화한다.
• API 게이트웨이를 통해 구성 요소를 조정하고 상호작용 모드로 RESTful API 또는 Gradio UI를 제공한다.
• 시스템 초기화 단계에서 ESCO 분류체 임베딩 및 저장 구조를 구성하여 온라인 SES 작업을 가능하게 한다.

실험 결과

연구 질문

• RQ1 오픈소스 LLM을 사용하여 과도한 감독이나 전처리 없이 SES를 어떻게 효율적으로 수행할 수 있는가?
• RQ2 사전에 계산된 ESCO 임베딩을 활용한 벡터 유사도 접근이 자유 형식 텍스트에서 정확한 기술 표준화를 낳을 수 있는가?
• RQ3 다국어(영어, 프랑스어, 네덜란드어) SES 파이프라인이 언어 간 성능을 유지하는가?
• RQ4 Vicuna-13B를 SES 작업에 사용할 때 속도, 비용 및 정확도 간의 trade-off는 무엇인가?

주요 결과

• SkillGPT는 요약과 벡터 검색을 결합해 속도와 정확도 사이의 균형을 가진 기술 추출 및 표준화를 제공합니다.
• 시스템은 ESCO 임베딩에 대한 빠른 벡터 유사도에 의존하여 실용적인 표준 용어를 검색합니다.
• SkillGPT는 여러 문서 유형, ESCO 개념 유형 및 언어를 지원하여 18가지 사용 사례 조합을 가능하게 합니다.
• Vicuna-13B는 SES 작업에 충분하며 로컬에 저비용으로 배포 가능하여 학술적 사용 및 프로토타이핑을 가능하게 합니다.
• 설계는 모듈식이며 다른 LLM 또는 도구를 수용할 수 있도록 유연하며, 공개 코드베이스가 있습니다.
• 제한점으로는 요약 중 미묘한 기술의 손실 가능성과 언어 의존적 성능 변동이 있습니다.