[논문 리뷰] Next Generation Business Intelligence and Analytics: A Survey

Quoc Duy Vo, Jaya Thomas외 4명|arXiv (Cornell University)|2017. 04. 11.

Big Data and Business Intelligence참고 문헌 32인용 수 4

한 줄 요약

이 종합적 설문은 차세대 비즈니스 인텔리전스 및 분석(BI&A)을 위한 통합 프레임워크를 제안하며, 운영형, 상황 인식형, 자가 서비스형 BI를 고급 백엔드 아키텍처와 프론트엔드 분석을 통해 통합한다. 이는 빅데이터, 클라우드 컴퓨팅, 기계학습을 활용하여 실시간, 적응형 인사이트를 가능하게 하며, 환자 결과 향상과 잘못된 경고 감소를 보여주는 의료 분야 사례를 통해 검증된다.

ABSTRACT

Business Intelligence and Analytics (BI&A) is the process of extracting and predicting business-critical insights from data. Traditional BI focused on data collection, extraction, and organization to enable efficient query processing for deriving insights from historical data. With the rise of big data and cloud computing, there are many challenges and opportunities for the BI. Especially with the growing number of data sources, traditional BI\&A are evolving to provide intelligence at different scales and perspectives - operational BI, situational BI, self-service BI. In this survey, we review the evolution of business intelligence systems in full scale from back-end architecture to and front-end applications. We focus on the changes in the back-end architecture that deals with the collection and organization of the data. We also review the changes in the front-end applications, where analytic services and visualization are the core components. Using a uses case from BI in Healthcare, which is one of the most complex enterprises, we show how BI\&A will play an important role beyond the traditional usage. The survey provides a holistic view of Business Intelligence and Analytics for anyone interested in getting a complete picture of the different pieces in the emerging next generation BI\&A solutions.

연구 동기 및 목표

• 실시간, 복잡하고 이질적인 데이터 소스를 처리하는 데에 한계가 있는 전통적인 3-tier BI 아키텍처의 문제점을 해결한다.
• 기본 보고서 중심의 BI에서 운영형, 상황 인식형, 자가 서비스형 분석으로의 진화를 설명함으로써 동적인 비즈니스 수요에 부응한다.
• 빅데이터, 클라우드 컴퓨팅, 기계학습과 같은 현대 기술을 BI 백엔드 및 프론트엔드 시스템에 통합한다.
• 심층적인 인터넷 치료실(ICU) 사례 연구를 통해 BI&A가 복잡한 분야, 특히 의료 분야에서 어떻게 전환적 역할을 하는지 보여준다.
• 다양한 데이터와 사용자 중심의 분석을 포함한 다음 세대 BI에서의 데이터 거버넌스 및 준수 과제를 강조하고 기업의 확장성과 신뢰성을 확보하기 위한 해결책을 제안한다.

제안 방법

• 다양한 소스(센서, 비구조적 텍스트, 실시간 스트림 포함)에서의 데이터 통합을 중점으로 삼는 BI 백엔드 아키텍처의 진화를 조사한다.
• 특히 시계열 예측 및 기계학습을 활용한 통합 데이터 분석을 포함한 분석 엔진의 프론트엔드 혁신을 분석한다.
• 데이터 수신, 변환, 저장을 시각화 및 의사결정 지원과 분리하는 계층적 아키텍처를 제안한다.
• 구조적 데이터와 비구조적 데이터(예: 전자 의료 기록, 임상 노트, 센서 데이터)를 연계하여 예측 인사이트를 도출하기 위해 기계학습 모델을 통합한다.
• 실시간 데이터 처리 파이프라인을 적용하여 동적 환경에서 저지연 의사결정 지원이 가능한 운영형 BI를 실현한다.
• 의료 사례 연구를 통해 프레임워크를 검증하며, 특히 센서 데이터와 임상 기록을 활용한 ICU 모니터링에 중점을 둔다.

실험 결과

연구 질문

• RQ1 운영형, 상황 인식형, 자가 서비스형 BI는 아키텍처 및 功能에서 어떻게 다름이며, 각각의 기술적 구현 요소는 무엇인가?
• RQ2 특히 비구조적 및 실시간 데이터를 포함한 이질적 데이터 소스를 통합된 BI 시스템에 통합하는 데에 직면한 주요 과제는 무엇인가?
• RQ3 기계학습과 고급 분석은 의료와 같은 고위험 분야에서 BI의 예측 능력을 어떻게 향상시킬 수 있는가?
• RQ4 다이나믹한 데이터와 사용자 중심의 분석을 포함한 다음 세대 BI 시스템에서 데이터 거버넌스는 준수 및 신뢰를 확보하는 데 어떤 역할을 하는가?
• RQ5 다음 세대 BI는 인터넷 치료실에서 잘못된 경고를 얼마나 줄이고 임상 의사결정을 향상시킬 수 있는가?

주요 결과

• 기존의 3-tier BI 아키텍처는 실시간 및 적응형 분석을 위해 충분하지 않으며, 운영형 및 상황 인식형 BI를 지원하기 위한 아키텍처의 진화가 필수적이다.
• ICU 환경에서 센서 데이터, 임상 노트, 전자 의료 기록을 통합하면 환자당 초당 수 킬로비트 이상의 데이터가 생성되며, 이는 확장 가능하고 지능적인 데이터 처리를 요구한다.
• 기계학습 모델은 구조적 및 비구조적 데이터 유형 간의 연관성을 분석하여 임상 예측 정확도를 향상시키고 잘못된 경고를 줄일 수 있다.
• 소아 인터넷 치료실에서 92%의 경고가 잘못된 것으로 밝혀져 지능형 분석을 통해 경고를 효과적으로 걸러내고 우선순위를 정리할 필요성이 높아졌다.
• 자기 서비스형 BI와 상황 인식 능력은 의사, 콜 센터 운영자 등 현장 사용자가 전문가의 개입 없이 실시간 인사이트에 접근할 수 있게 하여 반응성을 향상시킨다.
• 다음 세대 BI 시스템은 특히 의료와 같은 규제가 엄격한 분야에서 데이터 무결성과 규제 준수를 확보하기 위해 민첩성, 거버넌스, 준수의 균형을 유지해야 한다.