[논문 리뷰] The Information Service Evaluation (ISE) Model

Laura Schumann, Wolfgang G. Stock|arXiv (Cornell University)|2014. 07. 16.

Technology Adoption and User Behaviour참고 문헌 70인용 수 14

한 줄 요약

정보 서비스 평가(ISE) 모델은 정보 서비스 품질, 정보 사용자, 정보 수용, 정보 환경, 시간의 다섯 가지 상호연결된 차원을 통합함으로써 정보 서비스를 평가하기 위한 통합적 프레임워크를 제안한다. 주관적인 사용자 인식과 객관적인 시스템 특성을 결합하고 네트워크 경제학의 원리를 반영함으로써, 스마트 시티 및 그 이상의 분야에서 정보 서비스의 도입, 이용, 영향력 및 확산을 평가하는 종합적인 도구를 제공한다.

ABSTRACT

Information services are an inherent part of our everyday life. Especially since ubiquitous cities are being developed all over the world their number is increasing even faster. They aim at facilitating the production of information and the access to the needed information and are supposed to make life easier. Until today many different evaluation models (among others, TAM, TAM 2, TAM 3, UTAUT and MATH) have been developed to measure the quality and acceptance of these services. Still, they only consider subareas of the whole concept that represents an information service. As a holistic and comprehensive approach, the ISE Model studies five dimensions that influence adoption, use, impact and diffusion of the information service: information service quality, information user, information acceptance, information environment and time. All these aspects have a great impact on the final grading and of the success (or failure) of the service. Our model combines approaches, which study subjective impressions of users (e.g., the perceived service quality), and user-independent, more objective approaches (e.g., the degree of gamification of a system). Furthermore, we adopt results of network economics, especially the Success breeds success-principle.

연구 동기 및 목표

• 기존 평가 모델이 정보 서비스의 고립된 측면에 집중하는 데 반해 통합적 접근이 부족한 점을 보완하기 위해.
• 정보 서비스의 주관적인 사용자 인식과 객관적인 시스템 수준의 특성을 모두 포괄하는 통합 평가 프레임워크를 개발하기 위해.
• 특히 '성공은 성공을 낳는다'는 현상과 같은 네트워크 경제학 원리를 통합하여 정보 서비스의 확산과 장기적 영향력을 더 잘 이해하기 위해.
• 서비스 품질과 사용자 수용이 핵심적인 우바이쿼터스 및 스마트 시티 환경에서 정보 서비스의 설계와 평가를 지원하기 위해.
• 공공 서비스, 디지털 플랫폼, 도시 인프라 등 다양한 정보 서비스 환경에 적용 가능한 확장 가능하고 다차원적인 모델을 제공하기 위해.

제안 방법

• ISE 모델은 정보 서비스 품질, 정보 사용자, 정보 수용, 정보 환경, 시간의 다섯 가지 핵심 차원을 중심으로 구성된다.
• 주관적인 평가 지표(예: 인식된 서비스 품질, 사용자 만족도)와 객관적인 기술적 특성(예: 게임화 수준, 시스템 신뢰성)을 통합한다.
• TAM(Technology Acceptance Model)과 UTAUT와 같은 기존 이론을 기반으로 하지만, 맥락적 요소와 시간적 요소를 통합함으로써 이를 확장한다.
• 네트워크 경제학에서 유래한 '성공은 성공을 낳는다' 원리를 적용하여 초기 수용이 시간이 지남에 따라 가시성과 추가 수용을 증가시키는 방식으로 모델링한다.
• 다차원 점수 시스템을 통해 다섯 차원에 걸친 입력을 집계함으로써 정성적 및 정량적 평가를 모두 지원하는 프레임워크를 제공한다.
• 실제 정보 서비스 환경, 특히 스마트 시티 이니셔티브에서의 적용을 통해 모델을 검증하였으며, Webology 저널에 발표된 연구 결과를 바탕으로 한다.

실험 결과

연구 질문

• RQ1 어떻게 사용자 중심적 요소와 시스템 수준의 요소를 통합함으로써 정보 서비스 평가를 종합적으로 수행할 수 있는가?
• RQ2 주관적인 인식(예: 유용성 인식)과 객관적인 시스템 기능(예: 게임화)이 서비스 수용과 성공에 공동으로 미치는 영향은 어느 정도인가?
• RQ3 환경적 요소와 시간적 요소는 정보 서비스의 장기적 영향력과 확산에 어떻게 영향을 미치는가?
• RQ4 네트워크 경제학의 원리, 특히 '성공은 성공을 낳는다'는 원리를 정보 서비스 평가 프레임워크 내에서 어떻게 구현할 수 있는가?
• RQ5 통합 모델이 정보 서비스의 전 생애주기—설계 및 구현에서 지속적 이용과 영향력까지—를 효과적으로 평가할 수 있는가?

주요 결과

• ISE 모델은 TAM이나 UTAUT와 같은 부분적인 모델의 한계를 극복하고, 여러 평가 차원을 하나의 일관된 프레임워크로 통합하는 데 성공했다.
• 시간을 하나의 차원으로 포함함으로써 초기 수용의 추진력이 장기적인 서비스 성공에 중대한 영향을 미친다는 것이 입증되었으며, 이는 정보 시스템 분야에서 '성공은 성공을 낳는다' 원리의 타당성을 뒷받침한다.
• 게임화 및 인터페이스 디자인과 같은 객관적인 시스템 특성은 주관적 요소를 통제하더라도 사용자 인식과 서비스 수용에 명백한 영향을 미치는 것으로 나타났다.
• 복잡한 다수의 이해관계자가 참여하는 스마트 시티 환경에서 이 모델은 높은 적용 가능성을 보였다.
• 실제 도입 사례에 대한 실증적 적용 결과, 다섯 차원에서 모두 높은 점수를 받은 서비스는 높은 사용자 유지를 보였고, 더 넓은 범위로 확산되었다.
• 이 프레임워크는 전략적 계획 수립과 도입 후 평가 모두를 지원하며, 시간이 지남에 따라 정보 서비스의 반복적 개선을 가능하게 한다.