[논문 리뷰] Semantic Labeling Using a Deep Contextualized Language Model

Mohamed Trabelsi, Jin Cao외 1명|arXiv (Cornell University)|2020. 10. 30.

Data Quality and Management참고 문헌 43인용 수 8

한 줄 요약

이 논문은 BERT를 사용하여 표 내의 열 값과 그들의 문맥적 관계를 동시에 모델링함으로써 스키마 레이블 예측 성능을 향상시키는 문맥 인식 의미 레이블링 방법 SeLaB를 제안한다. 표를 순차적 입력으로 간주하고 예측된 레이블을 문맥으로 활용함으로써 SeLaB는 실제 데이터셋에서 최신 기술 수준의 성능을 달성하며, 값 전용 방법보다 뚜렷이 뛰어나며 레이블 예측의 모호성을 줄인다.

ABSTRACT

Generating schema labels automatically for column values of data tables has many data science applications such as schema matching, and data discovery and linking. For example, automatically extracted tables with missing headers can be filled by the predicted schema labels which significantly minimizes human effort. Furthermore, the predicted labels can reduce the impact of inconsistent names across multiple data tables. Understanding the connection between column values and contextual information is an important yet neglected aspect as previously proposed methods treat each column independently. In this paper, we propose a context-aware semantic labeling method using both the column values and context. Our new method is based on a new setting for semantic labeling, where we sequentially predict labels for an input table with missing headers. We incorporate both the values and context of each data column using the pre-trained contextualized language model, BERT, that has achieved significant improvements in multiple natural language processing tasks. To our knowledge, we are the first to successfully apply BERT to solve the semantic labeling task. We evaluate our approach using two real-world datasets from different domains, and we demonstrate substantial improvements in terms of evaluation metrics over state-of-the-art feature-based methods.

연구 동기 및 목표

• 기존 의미 레이블링 방법이 열을 독립적으로 다루며 열 간의 문맥적 관계를 忽略하는 한계를 해결하기 위해.
• 수작업 특징 공학의 필요성을 제거함으로써 스키마 레이블링에 소요되는 인간의 노력 최소화를 위해.
• 사전 훈련된 언어 모델을 사용하여 열 값과 표 수준의 문맥을 모두 통합함으로써 레이블 예측 정확도 향상시키기 위해.
• 표현을 동시에 학습하고 스키마 레이블을 예측하는 엔드 투 엔드로 학습 가능한 모델 개발하기 위해.
• 다양한 실제 데이터셋에서 방법을 평가하고 다양한 데이터 유형과 표 구조에 걸쳐 뛰어난 안정성 입증하기 위해.

제안 방법

• 각 열의 레이블이 동일한 표 내에서 이전에 예측된 레이블의 문맥에서 예측되는 순차적 예측 프레임워크를 사용한다.
• BERT를 사용하여 열의 값과 다른 열들, 특히 이미 예측된 레이블들로 제공되는 문맥을 모두 인코딩한다.
• 수작업 특징 공학을 피하기 위해, 문맥화된 표현에서 스키마 레이블을 엔드 투 엔드로 예측하도록 모델을 훈련시킨다.
• 입력 표현은 열 값과 위치 임베딩을 조합하며, 훈련 중에 레이블을 마스킹하여 헤더가 누락된 상태를 시뮬레이션한다.
• 추론 중에 헤더를 전체 또는 부분적으로 마스킹하는 것을 지원하여, 부족한 문맥 상황에서도 강건한 예측을 가능하게 한다.
• 사전 훈련된 문맥 임베딩을 활용하여 열 간의 의미적 관계를 포착함으로써 유사한 값의 해석을 보다 정확히 하게 한다.

실험 결과

연구 질문

• RQ1 값 전용 방법과 비교해 볼 때, 열의 문맥을 통합함으로써 의미 레이블 예측 정확도가 뚜렷이 향상되는가?
• RQ2 순차적이고 문맥 인식 예측 메커니즘이 유사한 값을 가진 열의 레이블링에서 모호성을 어떻게 줄이는가?
• RQ3 BERT를 사용한 엔드 투 엔드 훈련이 전통적인 특징 기반 접근법보다 의미 레이블링에서 얼마나 뛰어나게 성능을 높이는가?
• RQ4 레이블당 훈련 샘플 수가 문맥 인식 모델의 성능에 어떤 영향을 미치는가?
• RQ5 초기 예측에서 유도된 예측된 문맥이 후속 레이블 예측에 대해 참값 문맥만큼 효과적인가?

주요 결과

• SeLaB는 WikiTables 및 Log tables 데이터셋에서 최신 기술 수준의 특징 기반 방법보다 상당한 성능 향상을 이룬다.
• 헤더가 100% 마스킹된 상태에서도 뛰어난 성능을 보이며, 예측된 문맥이 참값 문맥과 거의 동일한 효과를 가짐을 시사한다.
• 문자열 열이 숫자 열보다 더 정확하게 레이블링되며, 숫자 값은 더 모호하고 높은 예측 오류를 유발하기 때문이다.
• 레이블당 훈련 샘플 수가 많아질수록 성능이 뚜렷이 향상되며, 특히 20개 이상일 경우 성능 향상이 두드러지며, 드문 레이블에 대해서도 높은 정확도 유지한다.
• 이웃 열의 문맥적 단서를 활용하여 초기 잘못된 예측을 수정하는 데 성공한다 — 예를 들어 '홈 팀'과 '어웨이 팀'을 구분한다.
• 국소 스무딩 분석 결과, SeLaB는 모든 레이블 빈도 범위에서 '값만 사용하는 BERT'를 일관되게 능가하며, 특히 저빈도 및 중간빈도 레이블에서 두드러진 우위를 보인다.