[논문 리뷰] Proceedings of the IJCAI 2017 Workshop on Learning in the Presence of Class Imbalance and Concept Drift (LPCICD'17)

Shuo Wang, Leandro L. Minku외 2명|arXiv (Cornell University)|2017. 07. 28.

Data Stream Mining Techniques참고 문헌 15인용 수 4

한 줄 요약

이 워크숍 논문집은 기계학습에서의 클래스 불균형과 개념 드리프트를 종합적으로 다루며, 실제 데이터 스트림에서 모델의 강건성을 향상시키기 위한 통합적 접근법을 제안한다. 불균형 처리와 드리프트 탐지 간의 상호 간섭을 부각하며, 동적인 비균형 데이터 분포 하에서도 예측 성능을 유지하기 위해 적응형 이중 인지 알고리즘의 필요성을 주장한다.

ABSTRACT

With the wide application of machine learning algorithms to the real world, class imbalance and concept drift have become crucial learning issues. Class imbalance happens when the data categories are not equally represented, i.e., at least one category is minority compared to other categories. It can cause learning bias towards the majority class and poor generalization. Concept drift is a change in the underlying distribution of the problem, and is a significant issue specially when learning from data streams. It requires learners to be adaptive to dynamic changes. Class imbalance and concept drift can significantly hinder predictive performance, and the problem becomes particularly challenging when they occur simultaneously. This challenge arises from the fact that one problem can affect the treatment of the other. For example, drift detection algorithms based on the traditional classification error may be sensitive to the imbalanced degree and become less effective; and class imbalance techniques need to be adaptive to changing imbalance rates, otherwise the class receiving the preferential treatment may not be the correct minority class at the current moment. Therefore, the mutual effect of class imbalance and concept drift should be considered during algorithm design. The aim of this workshop is to bring together researchers from the areas of class imbalance learning and concept drift in order to encourage discussions and new collaborations on solving the combined issue of class imbalance and concept drift. It provides a forum for international researchers and practitioners to share and discuss their original work on addressing new challenges and research issues in class imbalance learning, concept drift, and the combined issues of class imbalance and concept drift. The proceedings include 8 papers on these topics.

연구 동기 및 목표

• 실제 기계학습 응용 분야에서 증가하는 클래스 불균형과 개념 드리프트 문제에 대응한다.
• 클래스 불균형 기법과 개념 드리프트 탐지 메커니즘 간의 상호 간섭을 조사한다.
• 두 문제를 동시에 다룰 수 있는 적응형 알고리즘 설계를 위한 협업 연구를 촉진한다.
• 데이터 스트림에서의 불균형과 드리프트 문제를 공동으로 해결하기 위한 연구자 간의 공유 플랫폼을 제공한다.
• 두 분야의 통찰을 통합하여, 동적인 비균형 데이터에서의 학습 기술을 선진화한다.

제안 방법

• IJCAI 2017에서 클래스 불균형 학습과 개념 드리프트 전문가를 모아 전용 워크숍을 개최한다.
• 클래스 불균형, 개념 드리프트 및 그 병합 효과를 다루는 8편의 원저 논문을 수집 및 게재한다.
• 변경되는 클래스 분포와 불균형 비율에 적응할 수 있도록 알고리즘의 통합을 장려한다.
• 비균형 환경에서 전통적인 오차 기반 드리프트 탐지의 한계에 대해 논의를 촉진한다.
• 현재 데이터 분포에 따라 동적으로 클래스 선호도를 재할당할 수 있는 학습 시스템 개발을 지원한다.
• 하이브리드 솔루션을 탐색하기 위해 협업적이고 다학제적 토론의 장을 마련하여, 드리프트와 불균형 상황에서도 공정성과 정확성을 유지한다.

실험 결과

연구 질문

• RQ1 클래스 불균형은 전통적인 개념 드리프트 탐지 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ2 개념 드리프트는 표준 클래스 불균형 완화 기법의 적용을 어느 정도 복잡하게 만드는가?
• RQ3 변경되는 데이터 분포와 변화하는 클래스 불균형 비율에 동시에 적응할 수 있는 학습 알고리즘을 설계할 수 있는가?
• RQ4 데이터 스트림 환경에서 불균형과 드리프트가 동시에 발생할 경우 주요 실패 유형은 무엇인가?
• RQ5 기존 방법을 어떻게 수정하면 동적 조건 하에서도 소수 클래스가 학습의 중심이 되도록 보장할 수 있는가?

주요 결과

• 클래스 불균형은 전통적인 오차 기반 드리프트 탐지 방법의 효과성을 크게 저하시킬 수 있다.
• 오차율에 민감한 드리프트 탐지 알고리즘은 데이터가 심하게 비균형일 경우 개념 변화를 탐지하지 못할 수 있다.
• 불균형 비율의 변화에 적응하지 못하는 표준 클래스 불균형 기법은 잘못된 소수 클래스를 우선시할 수 있다.
• 클래스 불균형과 개념 드리프트가 동시에 발생할 경우, 공정성과 정확성을 모두 약화시키는 복잡한 상호작용이 발생한다.
• 실시간 학습 환경에서 불균형과 드리프트를 동시에 모델링하고 적응할 수 있는 알고리즘이 절실하게 필요하다.
• 워크숍 논문집는 불균형 처리와 드리프트 적응을 통합된 학습 프레임워크로 통합하는 데 있어 새로운 연구 방향을 부각시킨다.