[논문 리뷰] Efficient and trustworthy methods for knowledge discovery

Edoardo Galimberti, Martino Ciaperoni외 4명|arXiv (Cornell University)|2019. 10. 06.

Advanced Graph Neural Networks참고 문헌 77인용 수 18

한 줄 요약

이 논문은 시간적 네트워크를 위한 스펜-코어 분해를 소개한다. 이 방법은 관련된 시간적 구간을 가진 밀도 높은 정점 군집(스펜-코어)을 식별한다. 포함성 성질과 최대 코어 탐지 기법을 활용하여, 저비용으로 스펜-코어를 계산하는 알고리즘을 개발하고, 동적 프로그래밍을 통해 시간적 커뮤니티 검색에 적용함으로써, 최대 스펜-코어를 이용해 다항시간 해결책을 도출하고 상당한 속도 향상을 달성한다. 이 방법은 실제 얼굴 마주침 네트워크에서 검증되었으며, 사회적 역학 분석과 그래프 임bedding 성능 향상에 있어 확장성과 실용성을 입증한다.

ABSTRACT

Data are building blocks to information and, subsequently, they are vital input to knowledge. Today, in the midst of the digital era, vast quantities of highly-complex data are being collected and processed at an unprecedented scale. This abundance of data has highlighted the importance of efficient and effective knowledge-discovery algorithms to identify patterns hidden in the data with the ultimate aim of uncovering valuable knowledge and shape our understanding of the world around us. To capitalize on the opportunities offered by massive amounts of data as well as modern computing power, for many years, research in knowledge discovery and related areas has introduced algorithms that are increasingly efficient and effective, but also more and more opaque and unpredictable. Recently, growing interest in the ethical dimensions of algorithms has drawn attention to the limitations of opaque algorithms and has emphasized a need for trustworthy algorithms particularly when such algorithms are used to support high-stakes decision making. In order to be trustworthy, algorithms should solve a clearly defined problem via a clear sequence of instructions, they should not be utterly unsuccessful in any particular case and they should be easy to understand and interpret for humans so that no harmful biases can be hidden. In this thesis, we pursue the goal of developing novel knowledge-discovery algorithmic methods that are not only highly efficient to face the challenges and opportunities posed by modern data, but also trustworthy. In particular, we propose efficient and trustworthy methods for a collection of popular knowledgediscovery tasks. First, we consider tasks of exact inference in Bayesian networks and hidden Markov models. Trustworthy approaches for such tasks exist. However, their applicability may be severely limited by time or memory requirements. Therefore, we propose novel methods to reduce the time or memory resources that are needed by existing approaches for the considered exact inference tasks. Beside exact inference tasks, we also consider two different knowledge-discovery tasks that arise naturally in modern data: multi-label classification and community search in temporal graphs. Regarding multi-label classification, we propose an efficient and accurate rule-based multi-label classifier that drastically improves upon the interpretability of existing solutions. For community search in temporal graphs, we formalise the task for the first time, and we propose a solution that guarantees high efficiency and interpretability. In designing knowledge-discovery methods, we often rely on existing database-management and probabilistic methods. Methods for database management are valuable to address the large dimension and high complexity of modern data, while probabilistic methods are essential to methodologically handle uncertainty in the data.

연구 동기 및 목표

• 시간적 네트워크에서 밀도 높고 시간적으로 일관된 부분그래프를 식별하는 데 도전하는 문제를 해결하기 위해, 이는 사회적 역학 분석과 이상 탐지에 핵심적이다.
• 각 코어가 밀도(코어니스)와 존재 시간 간격(시간 구간)으로 정의되는 새로운 시간적 코어 분해 개념인 스펜-코어를 체계화한다.
• 이론적 포함성 성질을 활용하여, 모든 스펜-코어를 계산하는 알고리즘을 설계하고, 더 효율적으로 최대 스펜-코어(코어니스와 스펜 모두에서 지배되지 않는)만을 계산한다.
• 시간적 커뮤니티 검색 문제를 다항시간 동적 프로그래밍 문제로 공식화하고, 성능 향상을 위해 최대 스펜-코어를 활용하여 해결한다.
• 스펜-코어의 실용적 유용성을 실제 응용 분야에서 입증한다. 이는 이상 탐지, 데이터 품질 평가, 그래프 임베딩 분류 향상에 포함된다.

제안 방법

• 코어 분해의 시간적 확장으로서 스펜-코어 분해를 제안하며, 각 코어는 연속된 시간 간격 Δ 동안 최소 차수 ≥ k 를 만족하는 정점 집합이다.
• 코어 간 포함성 계층을 활용하여, 시간 간격의 잠재적 제곱수 증가를 줄이기 위해 정점 집합의 포함성 성질을 이용해 모든 스펜-코어를 효율적으로 계산하는 알고리즘을 개발한다.
• 모든 코어를 전수 조사하지 않고도 직접 최대성 조건을 검사함으로써, 최대 스펜-코어만 추출하는 전용 알고리즘을 설계한다.
• 시간적 커뮤니티 검색과 최대 스펜-코어 간 이론적 연결 고리를 확립하여, 전체 시간 영역을 커버하는 동적 프로그래밍 공식화를 가능하게 한다.
• 최대 스펜-코어를 빌딩 블록으로 사용함으로써 시간적 커뮤니티 검색의 속도를 향상시키는 기술을 도입하며, 기존의 나이브한 DP 대비 계산 시간을 크게 감소시킨다.
• 하이퍼파ram터 튜닝을 위해 node2vec과 DeepWalk를 사용하고, 그리드 서치를 적용하며, 스케일링된 임베딩에 페널티가 부여된 로지스틱 회귀를 사용해 분류 성능을 평가한다.

실험 결과

연구 질문

• RQ1 시간적 네트워크에서 계산 오버헤드를 최소화하면서 밀도 높고 시간적으로 일관된 부분그래프(스펜-코어)를 어떻게 효율적으로 탐지할 수 있는가?
• RQ2 스펜-코어의 이론적 구조는 어떠한가? 그리고 모든 가능한 코어를 전수 조사하지 않고도, 코어니스나 스펜에서 지배되지 않는 최대 스펜-코어를 어떻게 계산할 수 있는가?
• RQ3 전체 시간 영역을 커버하는 커뮤니티를 찾는 시간적 커뮤니티 검색 문제는 효율적으로 해결될 수 있는가? 그리고 스펜-코어는 이 문제의 성능에 어떻게 기여하는가?
• RQ4 스펜-코어는 실생활 시간적 네트워크에서 그래프 임베딩의 품질을 얼마나 향상시키는가? 특히 정점 역할 분류나 이상 탐지에 있어 어떤가?
• RQ5 최대 스펜-코어는 동적 접촉 네트워크에서 이상 탐지, 데이터 검증, 네트워크 시각화 등의 실용적 응용에 어떻게 기여하는가?

주요 결과

• 모든 스펜-코어를 계산하는 제안된 알고리즘은 포함성 성질을 활용하여, 시간 간격의 제곱수 증가를 피함으로써 효율성을 확보한다.
• 모든 코어를 계산하는 것보다 최대 스펜-코어만 추출하는 알고리즘이 훨씬 빠르며, 직접적인 최대성 검사를 통해 중복 계산을 방지한다.
• 시간적 커뮤니티 검색 문제는 동적 프로그래밍을 통해 다항시간 내에 해결 가능하며, 최대 스펜-코어 통합으로 기존 기준 대비 런타임이 크게 감소한다.
• PrimarySchool 데이터셋에서 TCS 임베딩은 임베딩 차원 h ≥ 200 일 때 매크로 F1 스코어가 거의 1에 수렴하며, 높은 h 에서 베이스라인을 초월하고 h = |T| 에서는 동일한 성능을 달성한다.
• HighSchool 데이터셋에서 TCS 성능은 h ≥ 200 일 때 최고의 방법들과 경쟁 가능해지며, 시간 해상도가 증가함에 따라 확장성과 효과성을 입증한다.
• 스펜-코어의 활용은 그래프 임베딩 분류 성능을 향상시키며, 접촉 네트워크에서 이상 탐지 지원과 대규모 시간 변화 그래프의 새로운 시각화 방식을 가능하게 한다.