[논문 리뷰] Evaluating approaches for supervised semantic labeling

Natalia Ruemmele, Yuriy Tyshetskiy외 1명|arXiv (Cornell University)|2018. 01. 29.

Data Quality and Management참고 문헌 6인용 수 13

한 줄 요약

이 논문은 새로운 백싱 기반 샘플링 기법을 사용하여 클래스 불균형과 제한된 라벨 데이터 문제를 해결하는 지도 학습 기반 의미 레이블링 프레임워크를 제안한다. 수작업 특징을 사용하는 DINT 모델과 원본 속성 값만을 사용하는 딥러닝 모델 두 종류(CNN 및 MLP)를 도입하여 기준 데이터셋에서 80% 이상의 평균 역수 순위(MRR)를 달성하였으며, DINT 모델은 알려지지 않은 또는 미사전 정의된 의미 레이블을 처리할 때 최신 기술인 DSL을 능가한다.

ABSTRACT

Relational data sources are still one of the most popular ways to store enterprise or Web data, however, the issue with relational schema is the lack of a well-defined semantic description. A common ontology provides a way to represent the meaning of a relational schema and can facilitate the integration of heterogeneous data sources within a domain. Semantic labeling is achieved by mapping attributes from the data sources to the classes and properties in the ontology. We formulate this problem as a multi-class classification problem where previously labeled data sources are used to learn rules for labeling new data sources. The majority of existing approaches for semantic labeling have focused on data integration challenges such as naming conflicts and semantic heterogeneity. In addition, machine learning approaches typically have issues around class imbalance, lack of labeled instances and relative importance of attributes. To address these issues, we develop a new machine learning model with engineered features as well as two deep learning models which do not require extensive feature engineering. We evaluate our new approaches with the state-of-the-art.

연구 동기 및 목표

• 지도 학습 기반 의미 레이블링에서 클래스 불균형과 부족한 라벨링된 학습 데이터 문제를 해결하기 위해.
• 어느 온톨로지 요소에도 매핑되지 않는 '불필요한' 속성을 식별하고 레이블링할 수 있는 강력한 프레임워크를 개발하기 위해.
• 표준 기준 데이터셋에서 수작업 특징, 딥러닝, 앙상블 기법을 포함한 다양한 기계 학습 접근법을 평가하고 비교하기 위해.
• 다양한 도메인에서의 의미 레이블링 시스템 간 공정한 비교를 위한 오픈소스 기준 데이터셋을 구축하기 위해.
• 문자 분포 기반의 단순한 특징 공학 기법이 복잡한 모델과 맞먹는 강력한 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 속성 값의 무작위 부분 샘플링을 통해 다수의 학습 인스턴스를 생성하는 백싱 기반 샘플링 전략을 제안하여 학습 다양성을 높이고 소수의 의미 레이블을 균형 있게 조정한다.
• 이름 유사도, 값 엔트로피, 어휘 패턴 등의 수작업 특징을 사용하는 다중 클래스 분류기인 DINT 모델을 도입한다.
• 패딩된 문자 시퀀스를 사용하는 CNN과 정규화된 문자 빈도를 입력 특징으로 사용하는 MLP를 설계한다.
• 온톨로지에 의미적으로 매핑되지 않는 속성을 명시적으로 모델링하기 위해 '알 수 없는' 클래스를 통합하여, 미사전 정의된 또는 불필요한 속성에 대한 강건성을 향상시킨다.
• 다양한 도메인의 다섯 개의 실제 세계 데이터셋을 기반으로 표준화된 기준 데이터셋을 구축하고, 동일한 조건에서 DINT, CNN, MLP 및 최신 기술인 DSL 시스템을 평가한다.
• 예측된 의미 레이블의 순위 성능를 평가하기 위해 평균 역수 순위(MRR)를 주요 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 백싱 기반 샘플링 기법이 지도 학습 기반 의미 레이블링에서 클래스 불균형과 데이터 부족 문제를 효과적으로 완화할 수 있는가?
• RQ2 수작업 특징(DINT)과 딥러닝 모델(CNN, MLP) 간 성능 및 특징 공학 요구 사항에서의 비교는 어떠한가?
• RQ3 명시적으로 매핑되지 않는 속성에 대한 '알 수 없는' 클래스를 모델링함으로써 제한된 라벨 데이터로 학습된 모델이 높은 성능을 달성할 수 있는가?
• RQ4 다양한 실제 세계 데이터셋에서 스키마 복잡도와 레이블 분포가 다른 환경에서 다양한 모델의 성능는 어떻게 변하는가?
• RQ5 외부 지식 기반 없이 속성 값 자체만으로도 정확한 의미 레이블링에 얼마나 기여하는가?

주요 결과

• 제안된 백싱 샘플링 기법은 학습 다양성을 높이고 부족한 의미 레이블을 균형 있게 조정함으로써 모델 성능을 크게 향상시킨다.
• 수작업 특징을 사용하는 DINT 모델은 두 기준 데이터셋에서 80% 이상의 평균 역수 순위(MRR)를 달성하였으며, 알려지지 않은 또는 미사전 정의된 레이블을 처리할 때 최신 기술인 DSL 시스템을 능가한다.
• 딥러닝 모델(CNN 및 MLP)은 최소한의 특징 공학에도 불구하고 경쟁 가능한 성능를 보였으며, CNN 모델은 원본 문자 시퀀스만을 기반으로 한다.
• 속성 값의 문자 분포와 엔트로피 기반의 단순한 모델이 강력한 성능를 달성함으로써, 속성 값 자체가 의미 레이블링에 매우 유용한 정보를 제공한다는 점을 시사한다.
• 성능는 데이터 소스 크기와 레이블 분포에 매우 의존적이며, 불균형하거나 작은 데이터셋에서는 모델 성능의 변동성이 더 크다.
• 오픈소스 기준 데이터셋은 공정한 비교와 확장성을 가능하게 하여 향후 새로운 모델 및 데이터셋의 평가를 지원한다.