[논문 리뷰] Entity Aware Modelling: A Survey

Rahul Ghosh, Haoyu Yang외 6명|arXiv (Cornell University)|2023. 02. 16.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 종합 검토는 이질적이고 데이터가 적은 환경에서 개인 맞춤 예측 성능을 향상시키기 위해 개별 엔티티의 고유 특성(직접 제공된 경우 또는 데이터에서 유추된 경우)을 통합하는 구조적 프레임워크인 엔티티 인식 모델링(EAM)을 소개한다. 다중 작업 학습, 메타학습, 표현 학습 분야의 기법을 통합하며, 정의성, 불확실성 측정, 지식 기반 AI와의 새로운 융합을 강조한다.

ABSTRACT

Personalized prediction of responses for individual entities caused by external drivers is vital across many disciplines. Recent machine learning (ML) advances have led to new state-of-the-art response prediction models. Models built at a population level often lead to sub-optimal performance in many personalized prediction settings due to heterogeneity in data across entities (tasks). In personalized prediction, the goal is to incorporate inherent characteristics of different entities to improve prediction performance. In this survey, we focus on the recent developments in the ML community for such entity-aware modeling approaches. ML algorithms often modulate the network using these entity characteristics when they are readily available. However, these entity characteristics are not readily available in many real-world scenarios, and different ML methods have been proposed to infer these characteristics from the data. In this survey, we have organized the current literature on entity-aware modeling based on the availability of these characteristics as well as the amount of training data. We highlight how recent innovations in other disciplines, such as uncertainty quantification, fairness, and knowledge-guided machine learning, can improve entity-aware modeling.

연구 동기 및 목표

• 개별 엔티티가 외부 요인에 대해 이질적인 반응을 보이는 저데이터 환경에서 개인 맞춤 예측의 과제를 해결한다.
• 엔티티 특성의 가용성과 학습 데이터 크기 기반으로 기존 엔티티 인식 모델링(EAM) 접근법을 체계적으로 정리한다.
• 불확실성 측정, 정의성, 지식 기반 학습과 같은 다학제적 혁신을 EAM에 통합하여 모델의 강건성과 활용 가능성을 향상시킨다.
• 현재 EAM 기법의 한계, 즉 데이터 불균형, 편향된 측정, 배포 환경 간 일반화 부족을 부각시킨다.
• 수문학, 헬스케어, 환경 과학 등 다양한 분야에서 운영 의사결정에 EAM을 발전시킬 수 있는 연구 로드맵을 제시한다.

제안 방법

• EAM 기법을 두 가지 주요 축으로 분류한다: (1) 명시적인 엔티티 특성(예: 지형 이용, 유전 정보)의 가용성, (2) 각 엔티티당 학습 데이터 양(저량 대 고량).
• 명시적인 특성이 없을 경우 데이터에서 엔티티 임베딩을 추론하기 위해 메타학습 및 표현 학습 기법을 통합한다.
• 공유 및 작업별 파라미터를 갖는 다중 작업 학습(MTL) 프레임워크를 활용해 엔티티의 이질성을 모델링하지만, 모델 복잡도 증가를 고려한다.
• 도메인 지식과 원인 추론을 활용해 관측 데이터에서 잠재 엔티티 특성의 식별 가능성을 향상시킨다.
• 대부분의 엔티티에 걸쳐 편향을 줄이기 위해 적대적 학습, 군집 불변 특성 학습, 이중 최적화를 통한 정의성 인식 학습을 적용한다.
• 극단치 예측 시나리오에서 강건성을 향상시키기 위해 모델 파라미터에 대한 대체 사전 분포(예: 구름벨 분포, 스튜던트의 t-분포)를 탐색한다.

실험 결과

연구 질문

• RQ1 기계 학습 모델은 저데이터 환경에서 개인 맞춤 예측 성능을 향상시키기 위해 어떻게 엔티티 고유 특성을 효과적으로 통합할 수 있는가?
• RQ2 명시적으로 제공된 엔티티 특성 사용과 데이터에서 특성 유추하기 사이의 주요 방법론적 차이점과 상충 관계는 무엇인가?
• RQ3 EAM에서 정의성이 어떻게 공식적으로 정의되고 이행될 수 있는가? 특히 데이터 불균형이나 측정 오류로 인한 편향을 완화하기 위해선 어떻게 해야 하는가?
• RQ4 불확실성 측정과 지식 기반 학습은 EAM 모델의 신뢰성과 해석 가능성에 어떻게 기여하는가?
• RQ5 커뮤니티나 미생물 혼합 시스템과 같은 다중 모odal 또는 계층적 엔티티 구조를 처리하기 위해 EAM 모델은 어떻게 적응시켜야 하는가?

주요 결과

• 엔티티 인식 모델링은 특히 각 엔티티당 학습 데이터가 제한된 경우, 엔티티 내재적 이질성을 고려함으로써 개인 맞춤 예측 성능을 크게 향상시킨다.
• 메타학습 및 표현 학습과 같은 방법을 통해 데이터에서 엔티티 특성을 유추하는 기법들은 명시적 엔티티 메타데이터가 없더라도 효과적인 개인 맞춤 예측을 가능하게 한다.
• 적대적 학습과 군집 불변 특성 학습을 통한 정의성 강화는 불리한 또는 대표성이 부족한 엔티티 간 성능 격차를 줄인다.
• 이중 최적화 프레임워크는 예측 정확도와 정의성의 분리 최적화를 가능하게 하여, 미분 불가능한 정의성 지표를 지원한다.
• 도메인 특화 사전 지식(예: 구름벨 분포 또는 t-분포)을 통합하면 홍수 위험 평가나 기후 모델링과 같은 극단치 예측 과제에서 모델 정확도를 향상시킨다.
• 현재 EAM 기법은 배포 환경 간 정의성과 성능의 일반화에 어려움을 겪고 있어, 강건성 인식 학습 및 평가 프로토콜의 필요성을 드러낸다.