[논문 리뷰] Granular-ball computing: an efficient, robust, and interpretable adaptive multi-granularity representation and computation method

Shuyin Xia, Guoyin Wang외 2명|arXiv (Cornell University)|2023. 04. 21.

Rough Sets and Fuzzy Logic인용 수 5

한 줄 요약

이 논문은 데이터를 표현하기 위해 크기가 변하는 고립된 구를 사용하는 적응형 다중 분해능 방법인 고립된 구 컴퓨팅을 소개한다. 이는 인공지능에서 효율성, 강인성, 해석 가능성의 향상을 도모한다. 개별 점이 아닌 거시적이고 계층적인 군집을 대상으로 작동함으로써 계산 부담을 줄이고 노이즈에 강하며 분류, 군집, 신경망 등 다양한 분야에서 모델의 투명성을 향상시킨다.

ABSTRACT

Human cognition operates on a "Global-first" cognitive mechanism, prioritizing information processing based on coarse-grained details. This mechanism inherently possesses an adaptive multi-granularity description capacity, resulting in computational traits such as efficiency, robustness, and interpretability. The analysis pattern reliance on the finest granularity and single-granularity makes most existing computational methods less efficient, robust, and interpretable, which is an important reason for the current lack of interpretability in neural networks. Multi-granularity granular-ball computing employs granular-balls of varying sizes to daptively represent and envelop the sample space, facilitating learning based on these granular-balls. Given that the number of coarse-grained "granular-balls" is fewer than sample points, granular-ball computing proves more efficient. Moreover, the inherent coarse-grained nature of granular-balls reduces susceptibility to fine-grained sample disturbances, enhancing robustness. The multi-granularity construct of granular-balls generates topological structures and coarse-grained descriptions, naturally augmenting interpretability. Granular-ball computing has successfully ventured into diverse AI domains, fostering the development of innovative theoretical methods, including granular-ball classifiers, clustering techniques, neural networks, rough sets, and evolutionary computing. This has notably ameliorated the efficiency, noise robustness, and interpretability of traditional methods. Overall, granular-ball computing is a rare and innovative theoretical approach in AI that can adaptively and simultaneously enhance efficiency, robustness, and interpretability. This article delves into the main application landscapes for granular-ball computing, aiming to equip future researchers with references and insights to refine and expand this promising theory.

연구 동기 및 목표

• 세분화되고 단일 분해능 처리에 의존하는 기존 인공지능 방법의 한계를 해결하기 위해, 이는 효율성, 강인성, 해석 가능성의 향상을 저해한다.
• 인간의 '전반적 우선' 인지 방식과 부합하는 이론적 프레임워크를 구축하기 위해 적응형 다중 분해능 데이터 표현을 가능하게 한다.
• 분류, 군집, 신경망과 같은 기존 인공지능 기법들을 고립된 구 표현을 통합함으로써 향상시킨다.
• 과도한 분해능, 고정된 품질 기준, 속성 가중치 설정과 같은 핵심 과제를 식별하고 해결한다.
• 자연어 처리, 3차원 포인트 클라우드, 다중 레이블 학습과 같은 새로운 인공지능 분야로의 고립된 구 컴퓨팅의 적용 범위를 넓힌다.

제안 방법

• 데이터 포인트를 적응적으로 감싸는 크기가 다른 고립된 구를 사용하여 개별 포인트보다 단위 수를 줄인다.
• 계층적 k-means 또는 재귀적 분할을 사용해 고립된 구를 생성함으로써 거시적에서 미세한 분해능으로의 제어를 가능하게 한다.
• 유클리드 거리 기반 고립된 구 구축을 적용하며, 향후 연구에서는 적응형 속성 가중치 통합을 제안한다.
• 고립된 구가 형성하는 위상적 구조를 활용해 해석 가능성과 노이즈에 대한 강인성을 향상시킨다.
• 과다 분할을 방지하기 위해 고립된 구 크기의 하한을 동적으로 조정함으로써 고립된 구의 품질을 최적화한다.
• 신경망, 거친 집합, 진화 계산과 같은 기존 인공지능 프레임워크에 고립된 구 모델을 통합한다.

실험 결과

연구 질문

• RQ1 인간의 전반적 우선 인지와 부합하는 방식으로 다중 분해능 표현을 어떻게 더 효율적이고 강인하며 해석 가능한 방식으로 만들 수 있는가?
• RQ2 점 수준 처리와 단일 분해능 분석에 의존하는 현재의 인공지능 방법의 핵심 한계는 무엇인가?
• RQ3 계산 비용을 줄이면서도 높은 품질의 데이터 표현을 유지하기 위해 고립된 구 생성을 어떻게 최적화할 수 있는가?
• RQ4 속성 가중치 설정과 적응형 품질 기준은 고립된 구 컴퓨팅 성능을 어떻게 향상시킬 수 있는가?
• RQ5 자연어 처리, 3차원 포인트 클라우드, 다중 레이블 학습 등의 인공지능 분야에서 고립된 구 컴퓨팅이 가장 필요로 하며 아직 개발이 부족한 분야는 어디인가?

주요 결과

• 고립된 구 컴퓨팅은 개별 데이터 포인트를 적은 수의 더 거시적인 고립된 구로 대체함으로써 계산 복잡도를 감소시켜 효율성을 향상시킨다.
• 고립된 구의 거시적 성격 덕분에 세밀한 노이즈나 이방치에 민감도가 낮아져 강인성이 향상된다.
• 고립된 구가 형성하는 위상적 구조는 자연스럽게 해석 가능성을 지원하며, 더 명확한 모델 설명을 가능하게 한다.
• 기존의 고립된 구 분류기 및 군집화 방법은 기존 대비 효율성과 노이즈 내성에서 향상된 성능을 보였다.
• 작은 표본 또는 고차원 설정에서는 데이터 분포가 희박해지므로 고립된 구가 효과를 잃는 문제가 남아 있다.
• 자연어 처리, 3차원 포인트 클라우드, 다중 레이블 학습 분야로의 고립된 구 컴퓨팅 확장을 위한 향후 연구가 필요하며, 현재 응용 범위는 제한되어 있다.